L’intelligence artificielle (IA) est de plus en plus utilisée dans le domaine de la cybersécurité, mais les géants de l’IA ont mis en place des programmes et des garde-fous pour limiter l’utilisation de leurs modèles par les hackers malveillants. Cependant, ces restrictions commencent à entraver le travail des chercheurs en cybersécurité légitimes, ainsi que celui des chercheurs en cybersécurité offensive.
## Les garde-fous de l’IA : une nécessité ou un obstacle ?
Les géants de l’IA, tels qu’Anthropic et OpenAI, ont mis en place des programmes de vérification pour les chercheurs en cybersécurité qui souhaitent accéder à leurs modèles. Ces programmes, tels qu’OpenAI’s Trusted Access for Cyber et Anthropic’s Cyber Verification Program, visent à garantir que les modèles ne soient pas utilisés à des fins malveillantes. Cependant, ces garde-fous sont souvent critiques, car ils peuvent limiter la capacité des chercheurs à découvrir des vulnérabilités et à développer des outils de sécurité.
Mark Dowd, un chercheur en sécurité bien connu, a déclaré que « ce n’est pas vraiment confortable pour moi que ces grandes entreprises fassent des décisions arbitraires sur ce qui est sûr en matière de sécurité et ce qui ne l’est pas ». Dowd a passé des décennies à découvrir et à vendre des vulnérabilités zero-day à des gouvernements occidentaux, plutôt que de les signaler aux fabricants de logiciels pour qu’ils soient corrigés. Les gouvernements paient un prix premium pour ces vulnérabilités, car elles restent ouvertes, ce qui est utile pour les opérations de renseignement.
## Les conséquences des garde-fous : les chercheurs se tournent vers les modèles open source
Les chercheurs en cybersécurité qui travaillent sur des projets offensifs, tels que la découverte de vulnérabilités et le développement d’outils d’exploitation, sont souvent confrontés à des difficultés lorsqu’ils utilisent des modèles d’IA avec des garde-fous. Chris Anley, chef scientifique chez NCC Group, a déclaré que « demander à un modèle d’IA d’essayer d’exploiter une faille de sécurité est une étape clé pour confirmer qu’il s’agit d’une vulnérabilité réelle qui vaut la peine d’être corrigée ». Cependant, si un garde-fou empêche le modèle de répondre à la question, cela peut nuire aux défenseurs.
Paolo Stagno, chef de la technologie chez Crowdfense, a déclaré que les entreprises d’IA « traitent essentiellement les clients comme des enfants qui ont besoin d’une surveillance » avec leurs programmes de vérification et leurs garde-fous. Stagno a ajouté que son équipe utilise des modèles d’IA de pointe, mais seulement pour l’ingénierie inverse. Ils évitent d’utiliser l’IA pour aider à trouver des vulnérabilités ou à développer des outils d’exploitation, car cela risque de faire fuir des données de vulnérabilités sensibles ou de les intégrer dans des futurs cycles de formation.
## Vers une nouvelle approche : ouvrir l’accès aux modèles d’IA
Les chercheurs en cybersécurité estiment que les garde-fous actuels sont plus nuisibles que bénéfiques. Chris Thompson, chef de la direction de RemoteThreat, a déclaré que « les chercheurs responsables sont poussés vers des systèmes étrangers » en raison des restrictions imposées par les entreprises d’IA américaines. Thompson a appelé les laboratoires d’IA à ouvrir leurs programmes, à fournir un accès responsable et à tenir les utilisateurs abusifs pour responsables. Sinon, a-t-il argumenté, les défenseurs perdront la course à l’IA.
En conclusion, les géants de l’IA doivent trouver un équilibre entre la sécurité et la restriction. Les chercheurs en cybersécurité ont besoin d’accéder aux modèles d’IA pour découvrir des vulnérabilités et développer des outils de sécurité. Les garde-fous actuels peuvent limiter la capacité des chercheurs à faire leur travail, ce qui pourrait avoir des conséquences négatives pour la sécurité en général. Il est temps pour les entreprises d’IA de réévaluer leur approche et de trouver des solutions qui équilibrent la sécurité et la restriction.