Anthropic a annoncé un partenariat inédit avec le laboratoire à but non lucratif METR, en offrant à six de ses chercheurs un accès de niveau employé aux ressources internes de l’entreprise. Cette initiative vise à permettre une évaluation indépendante des modèles d’intelligence artificielle de pointe, des pratiques de sécurité et des mécanismes de gestion des risques mis en place par Anthropic.
Un accès inédit pour les évaluateurs externes
Dans le cadre de cet accord, les chercheurs de METR reçoivent des ordinateurs portables fournis par Anthropic, un espace de travail dédié et un accès aux outils internes similaires à ceux utilisés par les équipes internes d’évaluation des risques. Anthropic décrit cette démarche comme comparable à la présence d’examinateurs résidents dans les grandes banques, soulignant l’importance de la transparence et de la responsabilité publique.
Cette mesure intervient à un moment où les incidents liés à des agents d’IA qui dévient de leurs instructions sont régulièrement signalés depuis la fin du mois d’août. Ces événements ont renforcé les appels à des contrôles indépendants et à une surveillance accrue des acteurs du secteur.
Les modalités de la collaboration
Le partenariat repose sur plusieurs principes clés :
- Partage d’informations : les employés d’Anthropic sont encouragés à communiquer avec les chercheurs de METR comme ils le feraient avec un collègue interne, notamment sur les risques d’alignement.
- Publication libre : METR pourra publier ses évaluations sans que Anthropic ne puisse exercer de droit de veto. Des restrictions limitées s’appliquent uniquement aux catégories pré‑définies, telles que les données clients, les informations protégées par le secret avocat‑client ou les détails techniques sensibles sur l’architecture des modèles.
- Transparence des censures : si une partie du rapport est censurée, METR doit indiquer publiquement les raisons de la censure, tout en préservant le contenu masqué.
Le modèle de collaboration s’inscrit dans une structure à trois niveaux que Anthropic développe pour les évaluateurs externes :
- Tier 1 – évaluations limitées, nécessitant l’approbation d’Anthropic avant publication (ex. SecureBio).
- Tier 2 – accès élargi avec publication autonome sans approbation préalable.
- Tier 3 – accès complet de niveau employé, réservé à METR dans le cadre actuel.
Implications pour la gouvernance de l’IA
Cette initiative concrétise une promesse faite par le PDG d’Anthropic, Dario Amodei, dans un essai publié en septembre, où il proposait d’intégrer des évaluateurs externes au sein même des laboratoires d’IA afin de ralentir le rythme de développement technologique. Depuis, d’autres géants du secteur, dont OpenAI, Google, Meta, Nvidia et xAI, ont signé un accord avec la Maison-Blanche pour instaurer des revues indépendantes.
En offrant à METR un accès comparable à celui de ses propres équipes de risque, Anthropic cherche à réduire l’écart entre la perception interne des systèmes d’IA et la compréhension des évaluateurs externes. Cette transparence accrue pourrait renforcer la confiance du public et fournir des données précieuses pour l’élaboration de politiques publiques sur la sécurité de l’IA.
Les défis liés à la divulgation d’informations sensibles
Le cadre prévoit des restrictions précises afin de protéger les informations sensibles. Les catégories de données soumises à censure comprennent :
- Les données personnelles des utilisateurs et clients.
- Les communications protégées par le secret avocat‑client.
- Les détails techniques détaillés sur l’architecture des modèles d’IA qui pourraient être exploités à des fins malveillantes.
En limitant la censure à ces domaines, Anthropic espère éviter les conflits d’intérêts tout en maintenant la liberté d’analyse de METR.
Perspectives et réactions du secteur
Le modèle d’accès complet proposé à METR suscite un intérêt croissant parmi les observateurs du secteur. Certains experts y voient une étape cruciale vers une gouvernance plus robuste, tandis que d’autres soulignent les risques potentiels liés à la diffusion d’informations internes, même avec des garde‑fous.
Les organisations de recherche en sécurité, comme le Center for AI Safety, ont salué la démarche, la qualifiant de « premier pas important » vers une supervision indépendante. En revanche, des analystes de marché rappellent que la mise en œuvre effective de ces accords dépendra de la rigueur des processus de redaction et de la capacité de METR à publier des rapports détaillés sans compromettre la sécurité opérationnelle d’Anthropic.
Dans le même temps, les régulateurs américains et européens observent de près ces initiatives, envisageant de les intégrer dans des cadres législatifs futurs. L’objectif serait de standardiser les exigences de transparence et de responsabilité pour toutes les entreprises développant des modèles d’IA à haut risque.
En résumé, l’accès de niveau employé offert à METR représente une expérimentation majeure dans le paysage de la gouvernance de l’intelligence artificielle. Si le partenariat réussit à fournir des évaluations fiables tout en préservant la confidentialité des données critiques, il pourrait devenir un modèle à reproduire par d’autres acteurs du secteur, renforçant ainsi la confiance du public et des décideurs dans le développement responsable de l’IA.