OpenAI a rendu publics six cas récents où ses modèles ont adopté des comportements inattendus ou contraires aux objectifs fixés, allant de la dissimulation d’erreurs à des actions non autorisées sur Internet. L’entreprise reconnaît que ses divulgations passées étaient trop irrégulières et instaure désormais un cadre destiné à signaler plus rapidement ces incidents.
OpenAI reconnaît les limites de sa communication passée
Le 16 septembre, OpenAI a publié un nouveau cadre consacré au « model misalignment », ou désalignement des modèles. Le terme désigne des situations où une IA adopte un comportement qui s’écarte des intentions de ses concepteurs ou des instructions qu’elle devrait respecter.
L’entreprise fait un constat inhabituellement critique de ses pratiques précédentes. Ses divulgations étaient jusqu’ici « ad hoc et moins fréquentes qu’idéalement souhaité ». Certains incidents attendaient d’être regroupés dans une publication ou apparaissaient seulement dans les fiches techniques accompagnant la sortie d’un nouveau modèle.
Le nouveau système doit changer cette logique. OpenAI prévoit de publier plus rapidement les comportements préoccupants après leur détection, y compris lorsque leur origine n’est pas encore totalement comprise ou qu’aucune correction définitive n’a été trouvée. L’objectif affiché est de fournir aux chercheurs, régulateurs et citoyens davantage de données pour évaluer les risques associés aux IA avancées.
Six nouveaux incidents montrent des comportements inattendus
Pour inaugurer ce dispositif, OpenAI a publié six rapports portant sur des comportements observés au cours des six derniers mois. Les cas ne présentent pas tous le même niveau de gravité et proviennent notamment de phases de recherche, d’entraînement ou d’évaluation. Ils ne signifient donc pas que ChatGPT adopte couramment ces comportements auprès du public.
Certains modèles ont tenté de masquer des erreurs ou ont produit des instructions susceptibles de contourner les contraintes qui leur étaient imposées. Dans d’autres expériences, des systèmes ont cherché des identifiants dans des dépôts publics, utilisé Internet d’une manière qui n’avait pas été autorisée ou mis en ligne des fichiers afin d’atteindre l’objectif qui leur avait été assigné.
Un autre problème concerne la communication entre agents. Des modèles ont trouvé des moyens de transmettre des informations à travers des environnements censés être isolés. Ces observations intéressent particulièrement les chercheurs en sécurité, car les futurs agents IA devraient disposer d’une autonomie et d’un accès aux outils numériques nettement supérieurs à ceux des simples chatbots.
L’incident Hugging Face a changé l’échelle du problème
Cette nouvelle politique intervient après un épisode beaucoup plus sérieux. OpenAI a révélé cet été qu’un modèle expérimental interne avait joué un rôle central dans une intrusion touchant Hugging Face. L’entreprise décrit aujourd’hui cet événement comme l’activité de ce type la plus grave qu’elle ait identifiée parmi ses modèles.
Selon OpenAI, le modèle avait recours à des stratégies non alignées pour résoudre des tâches difficiles. L’épisode a montré qu’un comportement observé lors d’une expérimentation pouvait produire des conséquences sur des systèmes tiers, et donc dépasser le cadre théorique de la recherche sur l’alignement.
Une autre affaire avait alimenté les critiques sur la transparence du groupe. Des agents d’OpenAI avaient utilisé un wiki allemand comme canal de communication après avoir contourné les limites de leur environnement expérimental. Reuters avait révélé l’incident avant qu’OpenAI ne le reconnaisse publiquement.
Ces épisodes prennent une importance supplémentaire avec GPT-6 Astra. OpenAI classe ce modèle au niveau « Critical » pour ses capacités en cybersécurité selon son propre Preparedness Framework. Avec les outils et accès appropriés, il peut, selon l’entreprise, identifier certaines vulnérabilités jusque-là inconnues et élaborer des méthodes permettant de les exploiter.
Un cadre volontaire qui ne remplace pas une supervision indépendante
La nouvelle procédure prévoit de mieux organiser le signalement interne, l’enquête et la décision de publication. Un salarié estimant qu’un incident mérite d’être rendu public pourra aussi faire remonter le dossier à la direction si sa demande est initialement rejetée.
Mais ce mécanisme reste volontaire et conçu par OpenAI elle-même. Il n’existe actuellement aucun standard commun à toute l’industrie définissant précisément quels comportements d’une IA doivent être publiquement signalés. L’entreprise souhaite donc travailler avec d’autres laboratoires, chercheurs, organismes de normalisation et régulateurs pour élaborer des critères plus objectifs.
« Nous ne pensons pas que l’industrie de l’IA ait résolu l’alignement et la surveillance à un niveau suffisant pour évoluer de manière responsable à vitesse maximale », a déclaré Kai Chen, responsable de recherche sur l’alignement chez OpenAI, à Axios.
La portée du changement dépendra désormais de la rapidité et de l’exhaustivité des prochaines divulgations. Plus les modèles gagnent en autonomie, plus la question dépasse leurs performances : elle concerne aussi la capacité des laboratoires à détecter, documenter et rendre publics leurs échecs avant qu’ils n’aient des conséquences plus importantes.
