Featherless lance Simple Jev en open source pour accélérer la classification par IA

La plateforme d'inférence serverless Featherless a lancé Simple Jev, une bibliothèque open source conçue pour transformer des modèles d'IA ouverts en moteurs de classification zéro-shot à haute vitesse. Cet outil permet aux applications d'évaluer les données entrantes et de prendre directement des décisions binaires ou catégorielles, évitant ainsi la génération classique de texte conversationnel afin de réduire la latence et de diminuer la consommation de ressources de calcul.

Une classification basée sur les logits, sans génération de texte

Simple Jev s'appuie sur la version propriétaire de Jev précédemment publiée par TypeSafe, en étendant les fonctionnalités de prise de décision structurée aux modèles open source. Au lieu de générer des réponses textuelles via des modèles propriétaires géants comptant plusieurs milliers de milliards de paramètres, Simple Jev analyse les données d'entrée grâce à une approche basée uniquement sur le préremplissage (prefill-only), en lisant directement les scores de logits au moment de la sélection. Cette architecture fournit immédiatement des probabilités catégorielles sans rédiger de réponses conversationnelles complètes.

En plus du traitement de texte, Featherless propose des points d'accès (endpoints) hébergés pour Simple Jev intégrant la prise en charge de la vision multimodale. Actuellement compatibles avec les modèles Gemma et Qwen, ces points d'accès permettent aux développeurs d'utiliser des images comme contexte direct pour leurs flux de travail de classification automatisée.

Modèles de tarification et disponibilité des points d'accès

Featherless a mis la bibliothèque Simple Jev à disposition sous la forme d'un dépôt open source sur GitHub, permettant aux équipes d'ingénierie de déployer ou de répliquer ce cadre de classification. Pour faciliter l'intégration, Featherless propose également un flux de travail de distillation de modèles, qui compresse les requêtes de décision complexes issues de grandes architectures vers des modèles ouverts plus petits et dédiés.

À des fins d'évaluation, Featherless fournit des points d'accès publics gratuits limités à deux requêtes par seconde et à une fenêtre de contexte de 2 000 jetons, sans nécessiter de connexion ni de clé d'API. Pour les environnements de production, le tarif des points d'accès hébergés Simple Jev commence à un prix plancher bêta de 0,03 $ par million de jetons d'entrée, avec des jetons de sortie gratuits. Les tarifs présentés par Featherless indiquent également des classificateurs dédiés basés sur Qwen dont le coût varie entre 0,28 $ et 0,30 $ par million de jetons d'entrée.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: Why Featherless says you don’t need a tank to deliver a pizza