Jacob Coxon a quitté Anthropic avec un avertissement spectaculaire sur le risque d’extinction lié à l’IA. Selon cet ancien chercheur d’OpenAI, les entreprises les plus avancées poursuivent une course vers des systèmes qu’elles pourraient ne plus parvenir à contrôler.
Jacob Coxon quitte Anthropic et déclenche une onde de choc
Jacob Coxon travaillait sur le pré-entraînement des modèles d’intelligence artificielle. Il affirme avoir passé trois ans entre OpenAI et Anthropic, deux entreprises situées au premier rang de la course mondiale à l’IA.
Le 9 septembre, il annonce son départ d’Anthropic et accuse les deux groupes de foncer vers une « superintelligence auto-améliorante ». Selon lui, les chercheurs qui développent ces technologies envisagent réellement la possibilité que l’IA provoque la disparition de l’humanité avant la fin de la décennie.
Son message a rapidement dépassé le cercle des spécialistes. Il avait franchi les 100 millions de vues lorsque Wired l’a interrogé. Coxon estime que les deux prochaines années pourraient constituer une période décisive pour déterminer les conditions dans lesquelles les futurs systèmes seront développés.
Son départ lui coûte également financièrement. Il a expliqué à Axios avoir quitté Anthropic deux mois avant l’acquisition de ses premières actions de l’entreprise.
Le danger concerne surtout une IA qui s’améliorerait elle-même
Coxon ne prétend pas que les modèles actuels sont capables d’exterminer l’humanité. Son inquiétude concerne une étape technologique qui n’a pas encore été atteinte.
Le scénario repose sur une intelligence artificielle suffisamment avancée pour participer elle-même au développement de modèles encore plus performants. Ce mécanisme d’amélioration récursive pourrait accélérer brutalement les progrès et produire des systèmes dépassant largement les capacités humaines.
Anthropic reconnaît elle-même que cette évolution n’existe pas encore et qu’elle n’est pas inévitable. L’entreprise considère néanmoins qu’elle pourrait survenir plus rapidement que les institutions ne sont préparées à y répondre.
Le problème central devient alors celui de l’alignement. Les chercheurs doivent pouvoir garantir qu’un système extrêmement puissant continuera à poursuivre les objectifs fixés par les humains, y compris dans des situations imprévues.
D’autres chercheurs d’Anthropic partagent ses inquiétudes
L’alerte de Coxon a pris une dimension particulière lorsque des chercheurs toujours employés par Anthropic lui ont publiquement donné raison.
Evan Hubinger, responsable de recherches sur l’alignement chez Anthropic, estime personnellement à plus de 10 % la probabilité qu’une intelligence artificielle puisse tuer tous les humains au cours des dix prochaines années. Il reconnaît également qu’Anthropic ne dispose pas encore d’une solution permettant de garantir l’alignement d’une éventuelle superintelligence.
Samuel Marks, autre chercheur de l’entreprise, a également soutenu la nécessité de ralentir suffisamment la course pour développer de meilleures garanties de sécurité.
Ces déclarations ne constituent toutefois pas une prévision scientifique selon laquelle l’humanité aurait 10 % de chances de disparaître. Il s’agit d’évaluations personnelles de chercheurs confrontés à une technologie dont les capacités futures restent très incertaines.
La course entre les laboratoires inquiète davantage que la technologie actuelle
Coxon concentre surtout ses critiques sur la compétition entre entreprises. Il juge Anthropic plus prudente qu’OpenAI, mais estime que cette prudence pourrait s’éroder si les laboratoires doivent continuellement accélérer pour ne pas être dépassés par leurs concurrents.
Anthropic répond qu’elle travaille depuis longtemps sur les risques liés aux modèles avancés. L’entreprise défend notamment des mécanismes permettant aux principaux laboratoires de coordonner et de ralentir le déploiement des systèmes les plus puissants lorsque les risques deviennent trop importants.
Coxon souhaite aller plus loin. Il considère que des décisions susceptibles d’avoir des conséquences mondiales ne devraient pas dépendre uniquement d’entreprises privées et appelle à une coordination internationale.
Une alerte spectaculaire, mais pas une certitude scientifique
Dire que l’IA pourrait « tous nous tuer » ne signifie donc pas qu’un tel scénario est considéré comme inévitable. Les spécialistes restent profondément divisés sur la probabilité d’une superintelligence incontrôlable et même sur le calendrier permettant éventuellement de l’atteindre.
L’intérêt de l’alerte de Coxon réside ailleurs. Elle révèle que certains chercheurs directement impliqués dans la conception des modèles les plus avancés considèrent eux-mêmes le scénario d’une perte de contrôle comme suffisamment crédible pour réclamer davantage de contraintes.
Le débat porte donc moins sur une apocalypse imminente que sur une question de gouvernance. Si des systèmes beaucoup plus autonomes apparaissent dans les prochaines années, les mécanismes permettant de les contrôler devront probablement être développés avant eux, et non après.
