OpenAI a annoncé la mise à disposition généralisée de son Decisions API, une interface conçue pour fournir des réponses ultra‑rapides et à moindre coût. Cette initiative place l’entreprise au cœur d’une compétition croissante entre les modèles de décision, notamment ceux de la série Jev développés par TypeSafe, ainsi que d’autres solutions émergentes.
OpenAI lance le Decisions API pour tous
Lors de la journée développeur du 29 septembre, OpenAI a présenté le Decisions API, puis l’a rendu accessible à l’ensemble de ses clients le jeudi suivant. Le service s’appuie sur le modèle Luna, une déclinaison de ChatGPT optimisée pour la rapidité d’inférence et la réduction des dépenses. Selon Nikunj Handa, responsable produit des API, la latence est passée de « un à trois secondes » à entre 100 et 180 millisecondes, ouvrant la voie à de nouveaux cas d’usage où chaque milliseconde compte.
En plus de la vitesse, OpenAI a enrichi l’offre de nouvelles modalités vocales et visuelles, tout en déployant des ressources d’inférence géographiquement ciblées afin d’améliorer la latence dans le monde entier.
Performances et réduction des coûts
Les premiers retours de clients tels que Box, Datadog, Ramp et Speak soulignent une amélioration notable du débit par rapport aux grands modèles de langage (LLM). Andrew Hsu, directeur technique de Speak, indique que le Decisions API a permis de réduire le temps entre deux actions de 1,4 seconde à 0,13 seconde, soit une amélioration de plus de dix fois.
OpenAI a également intégré le Decisions API à son assistant vocal Dots, augmentant ainsi la réactivité perçue par les utilisateurs. La combinaison de vitesse et de coût réduit rend le service attractif pour les développeurs cherchant à remplacer les LLM traditionnels dans des flux de travail où la rapidité prime.
La concurrence des modèles Jev et les classements publics
Le modèle Jev de TypeSafe, lancé par une startup issue d’un laboratoire de recherche avancée, a créé une catégorie de « super‑classificateurs » capables de choisir parmi plusieurs options et de fournir un indice de confiance. Ces modèles, souvent appelés « System One », sont perçus comme des alternatives plus rapides et moins onéreuses aux LLM.
TypeSafe a récemment publié un classement de ses modèles Jev, incluant des fonctionnalités telles que la prise en charge d’images et des instructions conditionnelles avancées. Sur les indices publics comme l’AIM System One Index et l’Artificial Analysis Decision Index, le modèle D1 Ultra de Liquid occupe la première place, suivi de l’Elephant‑1 de Base Lab. Le dernier modèle Jev se situe respectivement à la septième et à la troisième position, tandis que le Decisions API d’OpenAI se place à la huitième et à la quatorzième place.
Malgré ces classements, les modèles de TypeSafe restent les plus consultés sur la plateforme OpenRouter, indiquant une forte adoption par la communauté des développeurs.
Le benchmark ludique JevMan
Un benchmark original, baptisé JevMan, met les modèles de décision en compétition dans une version de Pac‑Man où chaque décision doit être prise en quelques centaines de millisecondes. Le dernier modèle Jev domine ce classement, illustrant la capacité des modèles spécialisés à gérer des flux de décision continus et critiques.
Perspectives, cas d’usage et avenir du Decisions API
OpenAI mise sur la multimodalité pour différencier son offre. Handa souligne que Luna excelle dans la classification d’images et offre une meilleure calibration que les modèles concurrents, tout en souhaitant élargir la capacité du Decisions API à générer des images en sortie.
La rapidité accrue ouvre également la porte à des scénarios plus ambitieux, comme le traitement de chaque image d’une vidéo en temps réel. Handa envisage des temps d’inférence de l’ordre de 60 millisecondes, ce qui permettrait d’appeler l’API à chaque image d’une séquence vidéo.
Ces avancées s’inscrivent dans la logique économique du nom « Jev », rappelant l’économiste qui a popularisé l’idée d’utiliser les ressources de façon plus efficace. En rendant les modèles de décision plus rapides et moins chers, OpenAI espère révéler un « ensemble fou de cas d’usage » qui étaient jusque‑là invisibles.
- Automatisation des processus décisionnels : remplacement des LLM dans les pipelines où la latence est critique.
- Assistants vocaux et visuels : amélioration de la réactivité des interfaces utilisateur.
- Analyse d’images en temps réel : classification instantanée pour la surveillance ou la robotique.
- Traitement vidéo frame‑by‑frame : possibilités d’applications dans le streaming ou la réalité augmentée.
En résumé, l’ouverture du Decisions API d’OpenAI marque une étape importante dans la démocratisation des modèles de décision ultra‑rapides. La concurrence avec les modèles Jev de TypeSafe et les nouvelles offres de Liquid et Base Lab promet de stimuler l’innovation, tout en offrant aux développeurs un éventail croissant d’outils adaptés à des besoins de vitesse, de coût et de précision.