Les géants de l’intelligence artificielle (IA) ont mis en place des programmes sécurisés et des garde-fous pour limiter l’utilisation de leurs modèles par les hackers malveillants. Cependant, ces mesures commencent à entraver le travail des défenseurs de réseaux légitimes et des chercheurs en cybersécurité. Les entreprises d’IA, telles qu’Anthropic et OpenAI, ont créé des programmes de vérification pour les chercheurs en cybersécurité, mais ces programmes sont souvent critiqués pour leur manque de transparence et leur approche arbitraire de la sécurité.
## Les garde-fous de l’IA : un obstacle pour les défenseurs de réseaux
Les garde-fous mis en place par les entreprises d’IA visent à empêcher les utilisateurs de créer et d’exécuter des attaques malveillantes. Cependant, ces mêmes garde-fous peuvent également empêcher les défenseurs de réseaux de tester les vulnérabilités de leurs systèmes et de développer des outils pour les protéger. Mark Dowd, un chercheur en sécurité bien connu, a déclaré que les décisions arbitraires prises par les entreprises d’IA sur ce qui est considéré comme sûr ou non en matière de sécurité sont inquiétantes. Chris Anley, chef scientifique chez NCC Group, a souligné que les garde-fous peuvent empêcher les modèles d’IA de répondre à des questions essentielles pour confirmer l’existence d’une vulnérabilité.
## Les conséquences des garde-fous de l’IA
Les chercheurs en cybersécurité se tournent de plus en plus vers des modèles d’IA open source, tels que GLM, qui peuvent être téléchargés et exécutés localement sans restriction. Cela peut être préoccupant, car les modèles d’IA open source peuvent être utilisés à des fins malveillantes. Chris Thompson, fondateur d’Offensive AI Con, a déclaré que les garde-fous de l’IA peuvent être inconsistants et peuvent changer d’un jour à l’autre, ce qui rend difficile pour les chercheurs de travailler avec ces outils. Les entreprises d’IA doivent trouver un équilibre entre la sécurité et l’innovation, en fournissant un accès responsable à leurs outils et en tenant les utilisateurs pour responsables de leurs actes.
## L’avenir de la cybersécurité et de l’IA
Les défenseurs de réseaux et les chercheurs en cybersécurité doivent être en mesure de travailler avec les outils d’IA pour protéger les systèmes contre les attaques malveillantes. Les entreprises d’IA doivent ouvrir leurs programmes et fournir un accès responsable à leurs outils, tout en tenant les utilisateurs pour responsables de leurs actes. Sinon, les défenseurs de réseaux risquent de perdre la course contre les attaques malveillantes. Les géants de l’IA doivent trouver un équilibre entre la sécurité et l’innovation, pour permettre aux défenseurs de réseaux de protéger les systèmes contre les attaques malveillantes, tout en encourageant l’innovation et la recherche dans le domaine de la cybersécurité.