Dans un secteur où la validation des modèles d’intelligence artificielle devient un facteur décisif de différenciation, Vals se positionne comme le challenger qui veut réinventer le benchmarking. Fondée en 2024, la société a rapidement attiré l’attention des investisseurs, levant un tour de table de 40 millions de dollars mené par Andreessen Horowitz après un premier financement seed orchestré par 8VC et Bloomberg Beta. En moins de deux ans, Vals a consolidé une équipe de 25 personnes et s’installe comme un acteur incontournable de l’évaluation des IA.
Un financement fulgurant et une équipe en pleine expansion
Le co‑fondateur de 25 ans, Rayan Krishnan, a tiré parti de son expérience chez Palantir, Microsoft et le laboratoire d’IA de Stanford pour concevoir une solution qui répond aux lacunes des systèmes de mesure traditionnels. Après le seed round, la levée de 40 M$ a permis à Vals de tripler ses effectifs, de passer d’une équipe de huit personnes à vingt‑cinq, et de projeter une nouvelle implantation dans des locaux plus spacieux sur Folsom Street, à San Francisco. Krishnan prévoit d’ajouter entre dix et quinze nouveaux talents afin de soutenir la croissance rapide de la société et d’élargir son portefeuille de services.
Une approche novatrice du benchmarking
Les benchmarks classiques, souvent publics, sont devenus vulnérables aux stratégies d’entraînement ciblées qui permettent aux modèles de « tricher » en apprenant les réponses attendues. Vals adopte une philosophie opposée : ses tests restent confidentiels, évitant ainsi toute optimisation artificielle. Au lieu de mesurer uniquement la connaissance générale, la startup évalue la capacité des modèles à accomplir des tâches complexes propres à des industries spécifiques.
Les principaux axes d’évaluation incluent :
- La production de résultats comparables à ceux d’un professionnel humain dans les domaines du droit, de la finance et du développement logiciel.
- L’analyse des impacts négatifs potentiels, afin d’anticiper les dérives lorsque les modèles sont déployés à grande échelle.
- Des scénarios de haute spécialisation, comme l’amélioration récursive, la santé mentale, la cybersécurité, la biosécurité et même le droit des conflits armés.
Cette méthodologie vise à répondre à une question centrale : les modèles d’IA sont‑ils réellement capables de remplacer ou d’assister un professionnel dans un contexte réel ? En testant la production de livrables de qualité humaine, Vals fournit aux entreprises une mesure concrète de la valeur ajoutée de leurs modèles, tout en identifiant les risques associés.
Des applications sectorielles et des enjeux de confiance
Les entreprises paient Vals pour soumettre leurs modèles à ces évaluations, un modèle économique comparable à celui du College Board qui facture le SAT. Cette dépense est justifiée par la nécessité d’obtenir des métriques fiables, essentielles pour le dépannage, l’optimisation continue et la prise de décision stratégique. Les résultats de Vals influencent désormais les choix d’acquisition de nouvelles IA et deviennent des arguments de poids lors de levées de fonds ou de rapports aux autorités.
Récemment, Vals a lancé un programme dédié aux agences fédérales, offrant des évaluations qui pourraient servir de référence pour les régulations futures. Krishnan estime que, à mesure que les modèles d’IA s’intégreront davantage dans l’économie, les standards de benchmarking deviendront des exigences réglementaires et des critères de confiance publique.
Vers une standardisation du processus d’évaluation
« Lorsque les entreprises d’IA deviendront publiques, les évaluations devront figurer dans leurs dossiers financiers et leurs communications aux investisseurs », prédit Krishnan. Il cite déjà des exemples comme SpaceX, Anthropic ou OpenAI, qui envisagent des introductions en bourse. Dans ce contexte, les benchmarks de Vals pourraient devenir des indicateurs clés, similaires aux ratios financiers, permettant aux investisseurs de comparer objectivement la performance et la sécurité des différents modèles.
En outre, la confidentialité des tests de Vals garantit que les modèles ne peuvent pas être optimisés spécifiquement pour les évaluations, assurant ainsi une mesure plus authentique de leurs capacités. Cette approche répond à la critique récurrente selon laquelle les benchmarks publics favorisent les jeux de données et les sur‑ajustements, au détriment d’une véritable évaluation fonctionnelle.
Perspectives et défis à venir
Le principal défi pour Vals réside dans l’équilibre entre transparence et confidentialité. Les parties prenantes exigent des preuves tangibles de la robustesse des modèles, tandis que la divulgation complète des tests pourrait compromettre leur pertinence. Vals mise sur la réputation de ses évaluations et sur la confiance établie avec ses clients pour surmonter cet obstacle.
Par ailleurs, l’expansion vers de nouveaux domaines, comme la bio‑sécurité ou le droit humanitaire, nécessite la collaboration avec des experts sectoriels afin de concevoir des scénarios réalistes et pertinents. Cette interdisciplinarité représente une opportunité de différenciation, mais implique également des investissements importants en recherche et en validation.
En résumé, Vals propose une vision ambitieuse du benchmarking IA, centrée sur la performance réelle, la prévention des risques et la création d’un cadre de confiance pour les acteurs du marché. Soutenue par un financement solide et une équipe en pleine croissance, la startup est bien placée pour devenir le référentiel de référence dans un écosystème où la crédibilité des modèles d’IA est plus que jamais cruciale.