Dans un contexte où les débats sur la régulation de l’intelligence artificielle s’intensifient, le scientifique en chef d’OpenAI, Jakub Pachocki, a publié un billet de blog qui propose une approche concrète : utiliser la perplexité comme repère quantifiable pour fixer des limites au rythme de développement des modèles d’IA.
Un climat de préoccupation grandissant
Les dernières semaines ont vu s’accélérer les appels à la modération du progrès de l’IA. Un ancien chercheur d’OpenAI et d’Anthropic a déclaré que les deux entreprises « jouaient avec nos vies », tandis que le dossier d’introduction en bourse d’Anthropic évoquait des risques « catastrophiques ou existentiels ». En réponse, le PDG d’Anthropic, Dario Amodei, a présenté un plan baptisé « pace the frontier », soutenu publiquement par le PDG d’OpenAI, Sam Altman, et le PDG de SpaceX, Elon Musk. Ce plan préconise l’adoption de normes de sécurité communes et l’instauration de limites au taux de progression non contrôlée de l’IA.
Pourquoi la perplexité ?
Pour instaurer une vitesse maximale, il faut d’abord s’accorder sur la façon de la mesurer. Pachocki avance que la perplexité, qui quantifie la capacité d’un modèle à prédire le token suivant (plus la valeur est basse, meilleure est la prédiction), pourrait jouer ce rôle. Contrairement aux benchmarks axés sur les « capacités en aval » – rapidement dépassés par les avancées technologiques – la perplexité reste informative et stable à travers les générations de modèles.
Dans son article, Pachocki illustre l’évolution de la perplexité des modèles d’OpenAI depuis GPT‑3.5. Il note que GPT‑4, avec une perplexité d’environ 0,91, a démontré une maîtrise efficace du raisonnement en chaîne de pensée, ce qui a conduit à la création de modèles spécialisés dans le raisonnement. Depuis que la perplexité a franchi le seuil de 0,8, des capacités transformantes sont apparues dans des domaines tels que la cybersécurité et les mathématiques.
Vers un cadre partagé de limites
Si la perplexité devient un benchmark partagé pour l’intelligence générale, les entreprises pourraient s’engager à ne pas dépasser un certain seuil tant que la compréhension et la surveillance du comportement de l’IA ne sont pas suffisamment avancées. Cette approche propose un compromis entre l’innovation rapide et la responsabilité sécuritaire, en offrant un point de référence clair et mesurable.
Un tel mécanisme pourrait s’articuler autour de trois piliers :
- Définition d’un seuil de perplexité à ne pas franchir sans validation indépendante.
- Publication transparente des mesures de perplexité pour chaque nouveau modèle.
- Engagement collectif des acteurs majeurs du secteur à respecter ces limites jusqu’à ce que des outils de monitoring plus avancés soient disponibles.
Cette proposition s’inscrit dans la lignée des initiatives précédentes, mais se distingue par son caractère quantifiable, évitant les débats purement qualitatifs qui souvent ralentissent la mise en place de régulations concrètes.
Implications pour l’industrie et la recherche
Adopter la perplexité comme indicateur de vitesse aurait plusieurs conséquences. D’une part, les équipes de recherche seraient incitées à optimiser leurs modèles non seulement pour la performance sur des tâches spécifiques, mais aussi pour maintenir une perplexité au‑delà du seuil convenu. D’autre part, les investisseurs et les régulateurs disposeraient d’un critère objectif pour évaluer le niveau de risque associé à chaque nouvelle version de modèle.
Cette mesure pourrait également favoriser la collaboration inter‑entreprises. En se basant sur un standard commun, les acteurs pourraient partager des données de benchmark, accélérer la détection de comportements inattendus et harmoniser leurs stratégies de mitigation.
Défis et limites de la démarche
Malgré son attrait, la perplexité n’est pas une panacée. Certains experts soulignent que la capacité à prédire le token suivant ne capture pas toujours la complexité des comportements émergents, notamment dans les scénarios de prise de décision autonome ou d’interaction sociale. De plus, la fixation d’un seuil unique pourrait être perçue comme trop rigide, ne tenant pas compte des spécificités de chaque domaine d’application.
Pour que cette approche soit réellement efficace, il sera nécessaire d’accompagner la mesure de la perplexité d’autres indicateurs de sécurité, tels que les tests de robustesse, les audits de biais et les évaluations d’impact sociétal. Un cadre holistique, combinant plusieurs métriques, offrirait une vision plus complète du niveau de risque.
Perspectives d’avenir
Le débat sur la régulation de l’IA est loin d’être clos, mais la proposition de Pachocki marque une étape importante vers la mise en place de mécanismes concrets. En offrant un repère quantifiable, la perplexité pourrait devenir le point d’ancrage d’un dialogue durable entre chercheurs, entreprises et autorités publiques.
Si les acteurs majeurs du secteur acceptent d’adopter ce standard, il est plausible que l’on voie émerger un « contrat de vitesse » pour l’IA, similaire aux accords de désarmement dans d’autres domaines technologiques. Un tel contrat permettrait de concilier la quête d’innovation avec la nécessité de protéger la société des risques potentiels, tout en maintenant la confiance du public dans les avancées technologiques.
En définitive, la perplexité pourrait bien devenir la « boussole » qui guide l’industrie vers un développement plus maîtrisé, à condition que la communauté accepte de s’engager collectivement autour de cet indicateur et qu’elle le combine avec d’autres outils de gouvernance responsable.