OpenAI, la société derrière le chatbot ChatGPT, a annoncé des mesures pour améliorer la sécurité de son outil de conversation en ligne, après plusieurs incidents où des utilisateurs ont discuté de problèmes de santé mentale et de pensées suicidaires avec le chatbot. Ces incidents ont suscité des inquiétudes quant à la capacité de ChatGPT à détecter et à répondre de manière appropriée aux situations de crise.
## Mesures de sécurité renforcées
OpenAI a déclaré qu’il allait router les conversations sensibles vers des modèles de raisonnement tels que GPT-5, qui sont conçus pour fournir des réponses plus réfléchies et plus bénéfiques. Le chatbot utilisera un système de détection en temps réel pour identifier les signes de détresse aiguë et rediriger les conversations vers ces modèles plus avancés. Cette mesure vise à prévenir les situations où le chatbot pourrait valider ou alimenter des pensées négatives ou des idées suicidaires.
## Contrôles parentaux
OpenAI a également annoncé qu’il allait introduire des contrôles parentaux pour permettre aux parents de lier leur compte à celui de leur enfant et de contrôler la façon dont ChatGPT répond aux questions de leur enfant. Les parents pourront activer des règles de comportement adaptées à l’âge de leur enfant, qui seront activées par défaut. Ces règles visent à prévenir les problèmes tels que la dépendance, l’attachement et la répétition de schémas de pensée nocifs. Les parents pourront également recevoir des notifications lorsqu’un signe de détresse aiguë est détecté chez leur enfant.
## Critiques et défis
Malgré ces mesures, certains experts et critiques estiment que les actions d’OpenAI sont insuffisantes pour répondre aux risques potentiels liés à ChatGPT. Jay Edelson, l’avocat qui représente la famille Raine dans une affaire de décès injuste contre OpenAI, a déclaré que la réponse de l’entreprise aux risques de sécurité est « inadéquate » et que le PDG de OpenAI, Sam Altman, devrait prendre une position plus ferme sur la sécurité du produit. Les défis posés par la régulation de la sécurité des chatbots sont complexes et nécessitent une collaboration entre les entreprises, les experts en santé mentale et les régulateurs pour trouver des solutions efficaces.