L’intelligence artificielle (IA) est un domaine en constante évolution, et les chercheurs de Thinking Machines Lab, fondé par Mira Murati, travaillent d’arrache-pied pour repousser les limites de cette technologie. Avec un financement initial de 2 milliards de dollars et une équipe de chercheurs d’exception, issus d’OpenAI, Thinking Machines Lab est déterminé à résoudre l’un des plus grands défis de l’IA : la création de modèles capables de générer des réponses reproductibles.
##
Le Problème de la Non-Déterminisme
Les modèles d’IA actuels sont considérés comme des systèmes non déterministes, ce qui signifie que leurs réponses peuvent varier en fonction de facteurs tels que les processeurs utilisés ou les conditions de calcul. Cela peut entraîner des réponses imprévisibles et peu fiables, ce qui peut être problématique pour les entreprises et les scientifiques qui dépendent de l’IA pour leurs recherches et leurs applications. Les chercheurs de Thinking Machines Lab ont identifié la racine du problème : la façon dont les noyaux GPU (les petits programmes qui s’exécutent à l’intérieur des processeurs Nvidia) sont assemblés lors du traitement de l’inférence (tout ce qui se passe après avoir appuyé sur la touche « Entrée » dans ChatGPT).
##
La Solution : Contrôler la Couche d’Orchestration
Selon Horace He, chercheur à Thinking Machines Lab, il est possible de rendre les modèles d’IA plus déterministes en contrôlant soigneusement la couche d’orchestration. Cela signifie que les chercheurs peuvent créer des modèles capables de générer des réponses reproductibles, ce qui peut améliorer la fiabilité et la précision de l’IA. Cette avancée pourrait également améliorer l’apprentissage par renforcement (RL), un processus qui consiste à récompenser les modèles d’IA pour les réponses correctes. Si les réponses sont cohérentes, les données de formation seront moins bruyantes, ce qui rendra le processus d’apprentissage plus efficace.
##
Les Perspectives de Thinking Machines Lab
Thinking Machines Lab a annoncé qu’il allait publier régulièrement des billets de blog, du code et d’autres informations sur ses recherches, dans le but de « bénéficier le public et d’améliorer notre propre culture de recherche ». Cette démarche est louable, car elle permettra aux chercheurs et aux entreprises de suivre les progrès de l’IA et de contribuer à son développement. Avec une valorisation de 12 milliards de dollars, Thinking Machines Lab a une grande responsabilité pour justifier ses ambitions. Les prochains mois seront cruciaux pour voir si l’entreprise peut tenir ses promesses et créer des produits innovants qui répondent aux besoins des entreprises et des scientifiques. Les enjeux sont élevés, mais les récompenses potentielles sont encore plus grandes. L’avenir de l’IA est en marche, et Thinking Machines Lab est l’un des acteurs clés qui façonnent ce futur.