Elorian, la jeune startup californienne spécialisée en intelligence artificielle, vient de présenter son premier modèle, baptisé Glimpse. Disponible en aperçu de recherche avec une interface de chat et un accès API, ce système se distingue par sa capacité à raisonner directement sur les images, au lieu de se contenter d’en extraire des tokens pour les traiter comme du texte. L’ambition affichée par le fondateur et ancien chercheur de DeepMind, Andrew Dai, est de créer une IA qui « voit » réellement, capable de zoomer, recadrer ou même exécuter du code pendant son processus de réflexion.
Un modèle conçu pour voir et raisonner
La plupart des modèles multimodaux actuels analysent une image une seule fois, la convertissent en une suite de tokens, puis génèrent une réponse textuelle. Cette approche, bien qu’efficace pour la description, ne permet pas d’interroger l’image de façon dynamique. Glimpse introduit le concept de visual scratch space, un espace de travail visuel où le modèle peut, à tout moment de son raisonnement, recadrer une région, extraire des cadres d’une vidéo ou lancer des calculs pour mesurer ou comparer des éléments visuels.
Andrew Dai illustre cette différence à l’aide d’une anecdote tirée d’une soirée jeux de société. Après avoir photographié le plateau d’un jeu, il a demandé à un modèle de pointe qui était en tête. Le modèle n’a pas pu répondre, soulignant son incapacité à interpréter les symboles et l’iconographie propre à chaque jeu. « Un humain peut regarder un diagramme Ikea sans texte et assembler le meuble, pourquoi une IA ne le ferait‑elle pas ? », a déclaré Dai.
Zoom, recadrage et exécution de code en temps réel
Le mécanisme de Glimpse rappelle le geste de pincer pour zoomer sur un smartphone afin de vérifier un détail. Pendant le raisonnement, le modèle peut ainsi demander à « zoomer » sur une partie de l’image, extraire les pixels pertinents et les analyser séparément. Cette capacité à interagir de façon itérative avec le support visuel ouvre la porte à des applications où la précision visuelle est cruciale, comme l’interprétation de graphiques scientifiques ou le sous‑titrage de courtes vidéos.
Performances et coûts
Malgré une architecture plus compacte que les modèles de référence, Glimpse se montre compétitif sur plusieurs benchmarks de raisonnement visuel. Selon les évaluations internes d’Elorian, le modèle dépasse même GPT‑6 Astra sur le raisonnement de graphiques scientifiques et le sous‑titrage de vidéos courtes, tout en affichant des résultats comparables sur d’autres tâches de visualisation.
Sur le plan économique, Glimpse propose un tarif de 0,60 $ par million de tokens d’entrée et de 3 $ par million de tokens de sortie. Ce prix le place en dessous des modèles de milieu de gamme comme Sonnet ou Sol, mais au-dessus des solutions ultra‑légères telles que Haiku ou Luna. Elorian souligne que le modèle a été entraîné sur quelques centaines de GPU, ce qui contribue à réduire les coûts d’infrastructure.
- Coût d’entrée : 0,60 $ / million de tokens
- Coût de sortie : 3 $ / million de tokens
- Performances supérieures aux modèles de référence sur les tâches de raisonnement visuel
- Entraînement réalisé avec une infrastructure modeste (quelques centaines de GPU)
Stratégie et perspectives d’Elorian
Elorian a levé un financement seed de 55 millions de dollars à une valorisation de 300 millions, mené par Striker Venture Partners, Menlo Ventures et Altimeter Capital, avec la participation de Nvidia et du scientifique en chef de Google, Jeff Dean. La société, sortie de la phase stealth il y a six mois, cible d’abord les entreprises qui manipulent de grandes quantités de vidéo : robots, laboratoires scientifiques, médias et studios créatifs.
À plus long terme, le projet de Dai consiste à passer de la simple observation à l’action. L’objectif est de construire un modèle capable de créer une représentation interne d’une scène, puis de choisir une action appropriée, incluant le contrôle direct de robots. L’ambition affichée pour l’an prochain est de développer « le meilleur modèle de raisonnement visuel au monde », capable de dominer chaque test de visualisation existant.
Marchés cibles prioritaires
- Entreprises de robotique nécessitant une perception visuelle en temps réel
- Laboratoires scientifiques traitant d’images et de vidéos expérimentales
- Industries médiatiques et créatives produisant du contenu vidéo à grande échelle
- Fournisseurs de solutions d’analyse de données visuelles pour la santé ou la défense
En résumé, Glimpse représente une évolution notable dans le domaine de l’intelligence artificielle multimodale, en proposant une interaction dynamique avec les supports visuels. Son positionnement tarifaire, combiné à des performances supérieures sur des tâches complexes, pourrait le rendre attractif pour les secteurs où la compréhension fine d’images et de vidéos est un facteur différenciant. Le prochain défi d’Elorian sera de transformer cette capacité de « voir » en une aptitude à « agir », ouvrant la voie à des systèmes autonomes capables de prendre des décisions basées sur une perception visuelle riche et itérative.