Le risque d’extinction lié à l’IA vient de revenir brutalement dans le débat après la démission de Jacob Coxon, ancien chercheur d’Anthropic et d’OpenAI. Certains spécialistes jugent désormais plausible une catastrophe existentielle, tandis que d’autres dénoncent des prédictions impossibles à quantifier scientifiquement.
Un ancien d’OpenAI déclenche une nouvelle alerte
Jacob Coxon travaillait sur l’entraînement des modèles chez Anthropic après plusieurs années chez OpenAI. Le 8 septembre, il a annoncé son départ en accusant les deux laboratoires de courir vers une intelligence artificielle capable de s’améliorer elle-même.
Son avertissement a surtout frappé par sa radicalité. Selon lui, « les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie ». Coxon estime que les douze à vingt-quatre prochains mois pourraient devenir une période décisive pour conserver le contrôle des systèmes les plus avancés.
Il apporte toutefois une précision importante. Les IA actuelles ne représentent pas, selon lui, une menace imminente d’extinction. Il considère même les outils disponibles aujourd’hui comme suffisamment sûrs pour un usage quotidien. Son inquiétude concerne ce que leurs successeurs pourraient devenir.
Le scénario redouté repose sur une IA qui s’améliore elle-même
Les chercheurs alarmistes ne décrivent pas nécessairement un robot qui déciderait soudainement d’exterminer l’humanité. Leur scénario repose principalement sur la « recursive self-improvement », ou auto-amélioration récursive.
Une IA suffisamment performante pourrait participer à la programmation de la génération suivante. Celle-ci améliorerait ensuite à son tour les systèmes qui lui succèdent. La boucle pourrait théoriquement accélérer les progrès jusqu’à produire une intelligence qui dépasse largement les humains dans de nombreux domaines.
Aucun laboratoire ne revendique aujourd’hui une telle boucle entièrement autonome. L’auto-amélioration récursive reste donc un scénario futur, et non une capacité démontrée des modèles actuels.
Le risque apparaît si les humains ne parviennent plus à comprendre, prévoir ou contrôler les objectifs d’un tel système. Une IA très autonome pourrait également faciliter des cyberattaques, manipuler des infrastructures critiques ou aider des personnes malveillantes à développer des armes biologiques.
Chez Anthropic, certains évaluent le risque à plus de 10 %
Coxon n’est pas seul. Evan Hubinger dirige des travaux consacrés à l’alignement chez Anthropic, c’est-à-dire à la manière de maintenir le comportement d’une IA compatible avec les objectifs humains.
Après la démission de son collègue, il a estimé personnellement à plus de 10 % la probabilité qu’une IA puisse tuer tous les humains au cours de la prochaine décennie. Il reconnaît parallèlement qu’Anthropic ne dispose pas encore d’une méthode capable de garantir l’alignement d’une éventuelle superintelligence.
Geoffrey Hinton, pionnier de l’apprentissage profond et prix Nobel de physique 2024, vient également de juger qu’une estimation de 10 % n’était « pas déraisonnable ». Il insiste surtout sur une situation inédite. L’humanité pourrait créer des systèmes intellectuellement supérieurs à elle sans savoir précisément comment ils se comporteraient.
Ces pourcentages ne doivent toutefois pas être interprétés comme des probabilités mesurées expérimentalement. Il s’agit d’évaluations personnelles de chercheurs face à un scénario qui n’existe pas encore. Les estimations varient d’ailleurs énormément selon les spécialistes.
D’autres chercheurs jugent ces scénarios beaucoup trop spéculatifs
Le consensus scientifique n’établit donc pas que l’IA possède 10 %, 20 % ou 50 % de chances d’exterminer l’humanité. Plusieurs spécialistes contestent même la pertinence de telles probabilités.
Yann LeCun, figure historique de l’apprentissage profond, considère les estimations d’extinction comme largement spéculatives. Gary Marcus, autre chercheur connu pour ses critiques de l’industrie, estime que l’attention accordée aux scénarios apocalyptiques peut détourner le débat de dangers déjà observables.
Ces risques présents sont beaucoup plus faciles à documenter. Ils comprennent la désinformation, les cyberattaques, les discriminations algorithmiques, la fraude ou encore l’utilisation de modèles pour faciliter certaines activités dangereuses.
Le débat oppose donc moins deux camps sur la dangerosité générale de l’IA que sur l’urgence du risque existentiel. Beaucoup reconnaissent des dangers. Ils divergent fortement sur la possibilité qu’ils aboutissent réellement à la disparition de l’humanité.
Faut-il agir avant de connaître réellement le danger ?
C’est précisément l’incertitude qui nourrit les appels à la prudence. Pour Coxon et plusieurs chercheurs en sécurité, attendre la preuve qu’une superintelligence incontrôlable est dangereuse reviendrait à intervenir trop tard.
Il demande notamment aux grands laboratoires de coordonner leurs efforts pour limiter l’auto-amélioration récursive. Anthropic défend également la création de mécanismes légaux permettant aux entreprises de ralentir ensemble le déploiement de modèles très puissants.
Les avertissements ont déjà atteint Washington. Des parlementaires américains réclament de nouvelles règles après les déclarations des chercheurs d’Anthropic.
Alors, l’IA peut-elle vraiment tous nous tuer ? Personne ne peut aujourd’hui répondre scientifiquement par un oui, un non ou un pourcentage fiable. Les systèmes actuels n’ont pas démontré la capacité autonome d’exterminer l’humanité, mais certains chercheurs directement impliqués dans leur développement considèrent suffisamment crédible le scénario d’une future perte de contrôle pour demander des mesures avant qu’une telle technologie n’existe.
