L’UK Safety Institute a récemment lancé un outil innovant appelé INSPECT. Cet outil est une plateforme d’évaluation de la sécurité pour les grands modèles de langage au sein de l’IA.
Qu’est-ce que INSPECT ?
INSPECT est un cadre open-source pour les évaluations de grands modèles de langage sur l’IA créé par l’UK AI Safety Institute. Il offre de nombreux composants intégrés, y compris des installations pour l’ingénierie des prompts, l’utilisation des outils, le dialogue multi-tours et les évaluations notées par le modèle.
Comment fonctionne INSPECT ?
INSPECT fonctionne en trois étapes principales :
- Datasets : Ils contiennent un ensemble d’échantillons étiquetés. Les datasets sont généralement juste une table avec des colonnes d’entrée et de cible, où l’entrée est un prompt et la cible est soit une valeur littérale, soit des conseils de notation.
- Solvers : Ils sont composés ensemble dans un plan pour évaluer l’entrée dans le dataset. Le solver le plus élémentaire,
generate(), appelle simplement le modèle avec un prompt et collecte la sortie. - Scorers : Ils évaluent la sortie finale des solvers. Ils peuvent utiliser des comparaisons de texte, une notation de modèle, ou d’autres schémas personnalisés.
Pourquoi INSPECT est-il important ?
INSPECT est un outil crucial pour l’évaluation de la sécurité de l’IA. Il permet aux testeurs – des startups, des universités et des développeurs d’IA aux gouvernements internationaux – d’évaluer les capacités spécifiques de modèles individuels et de produire un score basé sur leurs résultats. INSPECT peut être utilisé pour évaluer les modèles dans une gamme de domaines, y compris leur connaissance de base, leur capacité à raisonner et leurs capacités autonomes.
Conclusion
Avec l’introduction d’INSPECT, l’UK Safety Institute a franchi une étape importante dans l’amélioration de la sécurité de l’IA. En rendant INSPECT disponible à la communauté mondiale, l’Institut aide à accélérer le travail sur les évaluations de la sécurité de l’IA mené à travers le monde, conduisant à de meilleurs tests de sécurité et au développement de modèles plus sûrs.
Découvrez d’autres actualités de l’IA sur EspritIA.fr