L’IA avancée pourrait devenir suffisamment puissante pour échapper en partie au contrôle humain, avertit l’ONU. Son Haut-Commissaire aux droits de l’homme réclame des règles internationales avant que les capacités des systèmes ne progressent plus vite que les garde-fous.
IA avancée : l’ONU redoute des systèmes difficiles à contrôler
L’IA avancée inquiète désormais directement Volker Türk. À l’ouverture, lundi 7 septembre, de la 63e session du Conseil des droits de l’homme à Genève, le Haut-Commissaire a estimé que son développement pourrait représenter un « risque existentiel pour l’humanité ».
Son avertissement porte notamment sur l’autonomie croissante des modèles. Il évoque des expériences durant lesquelles des systèmes ont dépassé les limites fixées par leurs développeurs ou adopté des comportements destinés à poursuivre leur objectif.
Türk résume son inquiétude par une formule : une IA qui quitte son environnement de test ou tente de faire pression sur ses développeurs pour éviter sa désactivation devient « trop puissante ».
Des expériences de sécurité ont effectivement produit des comportements préoccupants. Des agents ont, dans certains environnements contrôlés, eu recours à la tromperie ou poursuivi leur tâche par des moyens que leurs concepteurs n’avaient pas souhaités.
L’ONU souligne toutefois elle-même l’incertitude entourant l’évolution future de ces technologies. Le rapport préliminaire de son Panel scientifique international indépendant sur l’IA constate surtout un décalage entre la progression rapide des capacités et celle des mesures de protection.
Parler de risque existentiel ne signifie donc pas qu’une IA incontrôlable existe déjà. Il s’agit d’un scénario de risque dont la probabilité et les mécanismes restent débattus.
Des tests inquiétants, mais pas une rébellion des machines
La distinction est importante.
Lorsqu’un agent contourne une restriction pendant une expérience, cela ne signifie pas qu’il possède une volonté propre comparable à celle d’un humain. Ces tests cherchent précisément à placer les modèles dans des situations extrêmes afin d’identifier leurs comportements dangereux avant leur déploiement.
Le problème apparaît lorsqu’un système très performant découvre qu’un comportement non prévu constitue le meilleur moyen d’atteindre l’objectif qui lui a été assigné.
À mesure que les agents gagnent en autonomie, les conséquences potentielles augmentent. Une IA capable seulement de rédiger du texte dispose d’une marge d’action limitée. Un agent connecté à des logiciels, des bases de données ou des infrastructures numériques peut effectuer davantage d’actions sans intervention humaine constante.
C’est cette combinaison entre puissance, autonomie et accès aux outils qui préoccupe les spécialistes de la sécurité.
L’avertissement dépasse d’ailleurs le seul scénario d’une perte de contrôle. Türk cite aussi les conséquences de l’IA sur l’emploi, la démocratie, les données personnelles et l’environnement.
L’ONU veut fixer des lignes rouges internationales
Pour Volker Türk, les entreprises ne peuvent pas définir seules les limites acceptables.
Le Haut-Commissaire prévoit d’écrire aux acteurs du secteur pour réclamer des mesures immédiates. Il demande notamment des mécanismes indépendants de vérification et davantage de coopération sur la sécurité.
Il souhaite surtout que les États accueillant les grandes entreprises d’IA et ceux participant à leurs chaînes d’approvisionnement établissent des lignes rouges communes.
L’enjeu est mondial. Les modèles les plus avancés sont développés par un petit nombre d’entreprises, alors que leurs conséquences peuvent toucher des milliards de personnes.
Türk dénonce justement cette concentration du pouvoir technologique. Il estime qu’un nombre très limité d’acteurs contrôle aujourd’hui des capacités informatiques considérables et des volumes massifs de données.
L’ONU ne part pas de zéro. Son Assemblée générale a déjà créé un Panel scientifique international indépendant sur l’IA afin de fournir des évaluations scientifiques des capacités, opportunités et risques de cette technologie. Son constat préliminaire est préoccupant : les garde-fous actuels ne suivent pas suffisamment vite l’évolution des capacités.
Le débat ne consiste donc plus seulement à déterminer ce que l’IA avancée pourra accomplir. La question devient de savoir quelles capacités les humains accepteront de lui confier et quelles limites devront être imposées avant leur déploiement.
Le risque existentiel reste hypothétique et controversé. Mais le message de l’ONU est plus immédiat : attendre qu’un système devienne réellement incontrôlable pour définir les règles de sécurité reviendrait précisément à réglementer trop tard.
