Le PDG d’Anthropic, Dario Amodei, l’architecte de l’un des systèmes d’IA les plus puissants et les plus utilisés par les entreprises à l’échelle mondiale, met en garde contre le « danger réel » et imminent que représente une intelligence surhumaine, susceptible de provoquer des dégâts au niveau de la civilisation en l’absence d’une intervention intelligente et rapide.
Dans un essai de 38 pages, partagé avec nous avant sa publication lundi, Amodei écrit :
« Je crois que nous entrons dans un rite de passage, à la fois turbulent et inévitable, qui mettra à l’épreuve ce que nous sommes en tant qu’espèce. »
« L’humanité est sur le point de se voir confier un pouvoir presque inimaginable, et il est profondément incertain que nos systèmes sociaux, politiques et technologiques aient la maturité nécessaire pour l’exercer. »
Pourquoi c’est important : l’entreprise d’Amodei a développé certains des systèmes de LLM les plus avancés au monde.
Le nouveau Claude Opus 4.5 d’Anthropic, ainsi que ses outils de programmation et de collaboration Cowork, sont au centre de toutes les conversations à Silicon Valley et dans les directions générales américaines.
L’IA réalise 90 % de la programmation informatique nécessaire à la construction des produits d’Anthropic, y compris sa propre IA.
Amodei, l’un des dirigeants les plus vocaux sur les risques liés à l’IA, craint profondément que les gouvernements, les entreprises technologiques et le public sous-estiment massivement ce qui pourrait mal tourner. Son mémo — suite de son célèbre essai de 2024, Machines of Loving Grace: How AI Could Transform the World for the Better — a été rédigé pour secouer les consciences, provoquer un débat public et détailler les risques.
Amodei insiste sur le fait qu’il reste optimiste quant à la capacité de l’humanité à traverser cette transition — mais uniquement si les dirigeants de l’IA et les gouvernements font preuve de franchise avec le public et prennent les menaces bien plus au sérieux qu’ils ne le font aujourd’hui.
Ses inquiétudes découlent de sa conviction profonde que, d’ici un ou deux ans, nous serons confrontés à la réalité brutale de ce qu’il appelle un « pays de génies dans un centre de données ».
Par là, il entend des machines dotées d’une intelligence digne de lauréats du prix Nobel dans de nombreux domaines — chimie, ingénierie, etc. — capables de concevoir des choses de manière autonome et continue, avec des productions allant de textes ou de vidéos à des agents biologiques ou des systèmes d’armes.
« Si la progression exponentielle se poursuit — ce qui n’est pas certain, mais bénéficie désormais d’un historique d’une dizaine d’années — alors il ne peut s’écouler que quelques années avant que l’IA ne soit meilleure que les humains dans pratiquement tous les domaines », écrit-il.
Parmi les avertissements spécifiques adressés au monde par Amodei dans son essai, L’adolescence de la technologie : affronter et surmonter les risques d’une IA puissante :
Pertes massives d’emplois :
« Je pense simultanément que l’IA va perturber 50 % des emplois de cols blancs de niveau débutant sur une période de 1 à 5 ans, tout en pensant que nous pourrions disposer d’une IA plus compétente que n’importe quel humain d’ici seulement 1 à 2 ans. »
Une IA dotée d’un pouvoir comparable à celui d’un État-nation :
« Je pense que la meilleure façon de comprendre les risques de l’IA est de se poser la question suivante : supposons qu’un véritable “pays de génies” apparaisse quelque part dans le monde vers 2027. Imaginez, par exemple, 50 millions de personnes, toutes bien plus capables que n’importe quel lauréat du prix Nobel, homme d’État ou technologue. (…) Il devrait être évident qu’il s’agit d’une situation dangereuse — un rapport rédigé par un responsable compétent de la sécurité nationale à l’attention d’un chef d’État contiendrait probablement des expressions telles que “la menace la plus grave pour la sécurité nationale que nous ayons affrontée depuis un siècle, voire jamais”. C’est clairement un sujet sur lequel les meilleurs esprits de la civilisation devraient se concentrer. »
Hausse de la menace terroriste :
« Il existe des preuves que de nombreux terroristes sont au moins relativement bien éduqués (…) La biologie est de loin le domaine qui m’inquiète le plus, en raison de son potentiel de destruction très élevé et de la difficulté à s’en défendre. (…) La plupart des acteurs malveillants isolés sont des individus perturbés et, presque par définition, leur comportement est imprévisible et irrationnel — et ce sont ces acteurs, les moins qualifiés, qui pourraient tirer le plus grand bénéfice d’une IA rendant beaucoup plus facile le fait de tuer un grand nombre de personnes. (…) À mesure que la biologie progresse (de plus en plus sous l’impulsion de l’IA elle-même), il pourrait devenir possible de mener des attaques plus sélectives (par exemple ciblant des personnes ayant certaines ascendances), ce qui ajoute une motivation supplémentaire, particulièrement glaçante. Je ne pense pas que des attaques biologiques seront nécessairement menées dès que cela deviendra largement possible — en fait, je parierais le contraire. Mais cumulées sur des millions de personnes et quelques années, je pense qu’il existe un risque sérieux d’une attaque majeure (…) avec des victimes potentiellement par millions, voire plus. »
Renforcement des régimes autoritaires :
Les gouvernements de tous niveaux disposeront de cette technologie, y compris la Chine, « juste derrière les États-Unis en matière de capacités en IA, et (…) le pays ayant la plus forte probabilité de les dépasser. Son gouvernement est actuellement autocratique et exploite un État de surveillance de haute technologie. »
Amodei écrit sans détour : « L’autoritarisme alimenté par l’IA me terrifie. »
Les entreprises d’IA elles-mêmes :
« Il est quelque peu embarrassant de dire cela en tant que PDG d’une entreprise d’IA, mais je pense que le niveau de risque suivant concerne en réalité les entreprises d’IA elles-mêmes », avertit Amodei.
« Les entreprises d’IA contrôlent de vastes centres de données, entraînent des modèles de pointe, possèdent la plus grande expertise sur leur utilisation et, dans certains cas, sont en contact quotidien avec des dizaines ou des centaines de millions d’utilisateurs, avec la possibilité de les influencer. (…) Elles pourraient, par exemple, utiliser leurs produits d’IA pour manipuler mentalement leur immense base d’utilisateurs grand public, et le public devrait être conscient de ce risque. Je pense que la gouvernance des entreprises d’IA mérite un examen approfondi. »
Séduire les puissants pour faire taire les alertes :
Les géants de l’IA disposent d’un tel pouvoir et de telles ressources financières que les dirigeants seront tentés de minimiser les risques et de dissimuler des signaux d’alerte, comme les comportements étranges observés chez Claude lors des tests (chantage d’un dirigeant au sujet d’une supposée liaison extraconjugale pour éviter sa désactivation, ce qu’Anthropic a rendu public).
« Il y a tellement d’argent à gagner avec l’IA — littéralement des milliers de milliards de dollars par an », écrit Amodei dans son passage le plus sombre.
« C’est le piège : l’IA est si puissante, un prix si scintillant, qu’il est extrêmement difficile pour la civilisation humaine de lui imposer la moindre contrainte. »
Appel à l’action :
« Les individus fortunés ont l’obligation d’aider à résoudre ce problème », affirme Amodei.
« Il m’attriste de voir que de nombreuses personnes riches (en particulier dans le secteur technologique) ont récemment adopté une attitude cynique et nihiliste, considérant que la philanthropie est inévitablement frauduleuse ou inutile. »
Conclusion :
« L’humanité doit se réveiller, et cet essai est une tentative — peut-être vaine, mais qui vaut la peine d’être faite — de secouer les consciences », écrit Amodei.
« Les années qui s’annoncent seront incroyablement difficiles et exigeront de nous bien plus que ce que nous pensons pouvoir donner. »
Par Jim VandeHei et Mike Allen
Article publié dans Axios