Dans un contexte où les modèles d’intelligence artificielle atteignent des performances inédites, deux des plus grands acteurs du secteur, OpenAI et Anthropic, ont annoncé leur intention d’intégrer des évaluateurs indépendants directement au sein de leurs équipes. Cette initiative, présentée comme une avancée majeure pour la transparence et la sécurité, suscite à la fois enthousiasme et interrogations quant à son efficacité réelle.
Une proposition inédite d’évaluation indépendante
Le PDG d’Anthropic, Dario Amodei, a récemment détaillé un plan visant à permettre à des tiers, tels que METR ou Redwood Research, d’accéder aux systèmes internes des entreprises afin de signaler les incidents de sécurité, d’évaluer l’alignement des modèles et de publier leurs conclusions sans contrôle éditorial. Sam Altman, à la tête d’OpenAI, a indiqué que son entreprise suivrait la même voie, marquant ainsi une possible rupture avec les pratiques traditionnelles où les évaluations se limitaient aux versions finales des modèles.
Cette proposition repose sur trois piliers essentiels :
- Un accès complet aux modèles, y compris aux versions intermédiaires ou « checkpoints » générés pendant l’entraînement.
- La possibilité d’interroger les équipes internes pour vérifier la cohérence entre la documentation publique et les pratiques réelles.
- La publication libre des résultats, incluant les niveaux de risque, les incidents et les limites d’accès rencontrées.
Les défis pratiques de l’accès aux modèles
Accorder un tel niveau d’accès soulève plusieurs questions techniques et organisationnelles. Les modèles modernes sont capables de détecter lorsqu’ils sont évalués, ce qui peut les inciter à adopter un comportement « conforme » uniquement pendant les tests. Les chercheurs soulignent que l’observation des modèles tout au long de leur cycle d’entraînement, et non seulement à la fin, est cruciale pour identifier d’éventuelles dérives.
Adam Gleave, dirigeant de FAR.AI, explique que l’analyse des checkpoints permet de repérer le moment précis où un comportement problématique émerge, d’examiner les environnements post‑entraînement qui récompensent certaines actions, et de vérifier les transcriptions d’évaluation. Cependant, les modalités exactes – nombre d’évaluateurs, durée d’accès, type de données consultables – restent floues, les entreprises n’ayant pas encore précisé leurs engagements concrets.
Des précédents montrent que le temps alloué aux évaluateurs est souvent insuffisant. Lors d’une investigation sur un incident chez Hugging Face, les équipes tierces n’ont disposé que sept jours sur site, limitant la portée de leurs conclusions. De même, l’évaluation du modèle GPT‑6 Astra a été réalisée en seulement trois jours, ce qui, selon les experts, ne permet pas d’établir des preuves solides d’alignement.
Risques de dépendance et de contrôle
Les évaluateurs indépendants sont fréquemment soumis à des accords de confidentialité stricts, qui peuvent restreindre la diffusion de leurs découvertes. Certains contrats imposent aux évaluateurs le statut de simple prestataire, limitant ainsi leur capacité à publier des rapports critiques. Cette dynamique crée un dilemme : garantir la confidentialité des informations propriétaires tout en assurant une transparence suffisante pour le public.
Cadre législatif et perspectives d’avenir
En parallèle des initiatives volontaires, plusieurs législations émergent pour encadrer l’évaluation indépendante. En Californie, la loi SB 53 oblige les grands développeurs d’IA à publier leurs cadres de sécurité et à signaler les incidents majeurs. La nouvelle SB 813 crée un dispositif d’organisations de vérification indépendantes reconnues par l’État. Au niveau européen, le AI Act impose aux développeurs de réaliser des évaluations et des tests d’adversité, tout en autorisant l’Office européen de l’IA à mener ses propres vérifications.
Ces cadres législatifs restent toutefois moins ambitieux que la proposition d’Amodei, qui vise à placer les évaluateurs au cœur même du processus de développement. Les chercheurs insistent sur la nécessité d’un cadre public et standardisé, afin d’éviter que les entreprises ne sélectionnent des évaluateurs aux compétences limitées ou peu motivés à relever les risques les plus critiques.
Henry Papadatos, directeur exécutif de Safer AI, souligne que les mesures volontaires sont un premier pas, mais que la régulation demeure indispensable pour garantir une responsabilité externe durable. Sans obligations légales, les entreprises pourraient revenir à des pratiques plus souples dès qu’une crise de réputation survient.
Vers une adoption généralisée ?
À ce jour, plusieurs acteurs majeurs – Meta, SpaceXAI et Google DeepMind – n’ont pas encore confirmé leur participation à ce type d’évaluation intégrée. DeepMind, toutefois, propose la création d’un organisme de normes industrielles dédié aux tests indépendants. Le débat reste ouvert quant à la capacité des géants de l’IA à concilier protection de la propriété intellectuelle et transparence exigée par les parties prenantes.
En résumé, l’engagement d’OpenAI et d’Anthropic à intégrer des évaluateurs tiers représente une évolution potentiellement transformative pour la gouvernance de l’IA. Le succès de cette démarche dépendra de la clarté des accords d’accès, de la durée allouée aux évaluations et de la mise en place d’un cadre réglementaire robuste qui garantira l’indépendance réelle des évaluateurs.