L’intelligence artificielle (IA) est de plus en plus utilisée dans le domaine de la sécurité, mais les chercheurs en sécurité se heurtent à des limites imposées par les géants de l’IA. Ces limites, mises en place pour empêcher les hackers malveillants d’utiliser les modèles d’IA pour créer des attaques cybernétiques, entravent également le travail des chercheurs en sécurité qui tentent de trouver des vulnérabilités dans les systèmes.
## Les programmes de validation et les gardes-fous
Les entreprises d’IA, telles qu’Anthropic et OpenAI, ont mis en place des programmes de validation et des gardes-fous pour limiter l’accès à leurs modèles. Ces programmes, tels que le Cyber Verification Program d’Anthropic et le Trusted Access for Cyber d’OpenAI, permettent aux chercheurs en sécurité de demander l’accès à des modèles avec des restrictions de sécurité moins strictes. Cependant, ces programmes sont souvent critiqués pour leur manque de transparence et leur arbitraire.
Les chercheurs en sécurité estiment que ces gardes-fous les empêchent de faire leur travail de manière efficace. Mark Dowd, un chercheur en sécurité bien connu, a déclaré que « ce n’est pas vraiment confortable pour moi que ces grandes entreprises fassent des décisions arbitraires sur ce qui est sûr en sécurité et ce qui ne l’est pas ». Les chercheurs en sécurité ont besoin de pouvoir tester les vulnérabilités des systèmes pour les découvrir avant les hackers malveillants, mais les gardes-fous les empêchent de le faire.
## Les conséquences des gardes-fous
Les conséquences des gardes-fous sont multiples. Les chercheurs en sécurité sont contraints de recourir à des modèles d’IA open source qui ne sont pas soumis aux mêmes restrictions, mais qui peuvent être moins fiables et moins efficaces. Cela peut les exposer à des risques de sécurité, car ces modèles peuvent contenir des vulnérabilités non découvertes. De plus, les chercheurs en sécurité peuvent être poussés à utiliser des modèles d’IA étrangers, ce qui peut soulever des préoccupations en matière de sécurité nationale.
Chris Thompson, PDG de la société de sécurité RemoteThreat, a déclaré que « les gardes-fous sont inconsistants et fonctionnent différemment chaque jour ». Cela oblige les chercheurs en sécurité à passer plus de temps à négocier avec le modèle qu’à travailler sur le programme de sécurité lui-même. Les chercheurs en sécurité estiment que les gardes-fous les empêchent de faire leur travail de manière efficace et que les entreprises d’IA devraient ouvrir leurs programmes pour permettre un accès responsable.
## Vers un changement de paradigme
Les entreprises d’IA doivent reconsidérer leur approche en matière de sécurité. Au lieu de mettre en place des gardes-fous stricts, elles devraient travailler avec les chercheurs en sécurité pour mettre en place des programmes de validation et des gardes-fous plus flexibles. Cela permettrait aux chercheurs en sécurité de faire leur travail de manière efficace tout en protégeant les systèmes contre les attaques cybernétiques.
Les conséquences de l’inaction pourraient être graves. Les attaques cybernétiques sont de plus en plus sophistiquées et les entreprises d’IA doivent travailler avec les chercheurs en sécurité pour les prévenir. Si les gardes-fous restent en place, les chercheurs en sécurité pourraient être poussés à utiliser des modèles d’IA étrangers, ce qui pourrait soulever des préoccupations en matière de sécurité nationale. Il est temps pour les entreprises d’IA de changer de paradigme et de travailler avec les chercheurs en sécurité pour mettre en place des programmes de validation et des gardes-fous plus flexibles.