Après le départ d’un chercheur d’Anthropic qui a mis en garde contre les risques d’une IA incontrôlée, deux anciens cadres du secteur ont lancé une initiative ambitieuse : offrir aux entreprises un cadre de certification pour leurs agents d’intelligence artificielle. La société Artificial Intelligence Underwriting Company (AIUC) se donne pour mission de rendre les systèmes d’IA plus sûrs et plus fiables, en s’appuyant sur une méthodologie inspirée des standards de cybersécurité.
Un nouveau modèle de certification pour les agents IA
AIUC s’inspire du standard SOC 2, largement utilisé dans le domaine de la sécurité informatique, pour créer son propre référentiel, baptisé AIUC‑1. Ce cadre définit des exigences précises en matière de contrôle, de confidentialité, d’intégrité et de disponibilité des agents d’IA. L’objectif est de fournir aux banques, hôpitaux, gouvernements ou forces armées une garantie que les systèmes qu’ils déploient respectent des critères de sécurité clairement établis.
Les grandes lignes du standard AIUC‑1 comprennent :
- Des exigences de prévention des jailbreaks (contournement des restrictions) ;
- Des contrôles contre les hallucinations, c’est‑à‑dire les réponses erronées ou inventées ;
- Des mesures de protection contre les fuites de données sensibles ;
- Un audit complet de la chaîne de décision de l’agent, incluant les modèles sous‑jacents et les données d’entraînement.
Ce modèle repose sur une approche collaborative : AIUC a réuni un consortium d’environ 250 responsables de la sécurité et du risque, qui représentent les futurs acheteurs d’agents IA. Ces experts définissent les questions clés à poser lors de l’évaluation d’un agent, ce qui alimente directement le contenu des tests.
Des tests à grande échelle pour garantir la sécurité
Le cœur de la démarche d’AIUC repose sur une batterie de plus de 5 000 tests automatisés. Chaque agent est soumis à des scénarios variés, simulant des tentatives de contournement, des situations de désinformation ou des risques de divulgation de données. Les résultats sont compilés dans un rapport d’environ 100 pages, détaillant les points forts et les faiblesses de l’agent testé.
Fait notable, AIUC utilise elle‑même des agents d’IA pour exécuter les tests et analyser les données, tout en conservant une validation humaine finale. Cette boucle de rétroaction permet d’accélérer le processus tout en maintenant un niveau de rigueur élevé.
Le modèle d’évaluation d’AIUC rappelle les pratiques de METR, l’ancienne organisation de recherche en sécurité où l’un des fondateurs, Rajiv Dattani, a occupé le poste de COO. METR se concentrait auparavant sur la performance des agents, mais a récemment élargi son champ d’action à la sécurité, notamment en collaborant avec OpenAI lors de l’incident Hugging Face.
Des investisseurs de premier plan misent sur la solution
Le financement d’AIUC reflète l’intérêt croissant des acteurs du capital risque pour la sécurisation de l’IA. La société a levé 40 millions de dollars lors d’une série A menée par Ribbit Capital, avec la participation de First Harmonic. Ce tour de table s’ajoute à un précédent financement seed de 15 millions de dollars, soutenu par Nat Friedman (via le fonds NFDG), Emergence, Terrain et Ben Mann, co‑fondateur d’Anthropic.
Au total, AIUC a ainsi réuni 55 millions de dollars, un signal fort que les investisseurs perçoivent la certification des agents IA comme un besoin imminent du marché. Parmi les premiers clients, on compte des entreprises comme Cursor, Lovable, Harvey et ElevenLabs, qui cherchent à rassurer leurs propres utilisateurs sur la fiabilité de leurs solutions d’IA.
Perspectives et défis pour l’adoption en entreprise
Le principal argument avancé par les fondateurs est que les organisations ne refusent plus d’adopter l’IA parce que la technologie n’est pas assez mature, mais parce qu’elles ont déjà pris des engagements envers leurs clients quant aux performances et aux risques. Sans une certification fiable, il devient difficile de tenir ces promesses.
En parallèle, des voix influentes du secteur, comme le PDG d’Anthropic, Dario Amodei, appellent à un ralentissement du développement des IA de pointe et à l’intégration d’évaluateurs tiers indépendants. Bien que AIUC ne propose pas d’intégration directe sur site, son modèle d’audit externe s’inscrit dans cette même logique de transparence et de contrôle.
Les défis restent néanmoins nombreux. La rapidité d’évolution des modèles d’IA implique que les standards doivent être régulièrement mis à jour. De plus, la confiance des entreprises dépendra de la reconnaissance officielle du cadre AIUC‑1, qui devra éventuellement être adoptée par des organismes de normalisation ou des régulateurs.
Enfin, la question de la responsabilité juridique en cas de défaillance d’un agent certifié demeure à clarifier. Les premiers retours des clients d’AIUC suggèrent toutefois que la disponibilité d’un rapport détaillé facilite les décisions d’achat et améliore la communication avec les parties prenantes.
En résumé, AIUC propose une réponse structurée aux inquiétudes croissantes autour des agents d’IA, en combinant un standard inspiré du SOC 2, une batterie de tests automatisés et le soutien d’investisseurs majeurs. Si le modèle parvient à gagner en légitimité, il pourrait devenir un pilier de la gouvernance de l’IA dans les entreprises, contribuant à réduire les risques de comportements imprévus ou dangereux.