C’est une bombe : les États-Unis doivent faire de l’IA leur prochain projet Manhattan | John Naughton

Til y a quelques années, le philosophe d’Oxford Nick Bostrom publié Superintelligence, un livre explorant comment des machines superintelligentes pourraient être créées et quelles pourraient être les implications d’une telle technologie. La première était qu’une telle machine, si elle était créée, serait difficile à contrôler et pourrait même conquérir le monde afin d’atteindre ses objectifs (qui, dans la célèbre expérience de pensée de Bostrom, consistait à fabriquer des trombones).

Le livre s’est très bien vendu, déclenchant des débats animés mais suscitant également de nombreux désaccords. Les critiques lui ont reproché d’être basé sur une vision simpliste de « l’intelligence », d’avoir surestimé la probabilité que des machines superintelligentes apparaissent dans un avenir proche et de ne pas avoir proposé de solutions crédibles aux problèmes qu’elle avait soulevés. Mais cela avait le grand mérite de faire réfléchir sur une possibilité jusqu’ici confinée aux marges les plus reculées du monde universitaire et de la science-fiction.

Aujourd’hui, dix ans plus tard, un nouveau tir vise la même cible. Cette fois, cependant, il ne s’agit pas d’un livre mais d’un essai substantiel (165 pages) intitulé Conscience situationnelle : la décennie à venir. L’auteur est un jeune Allemand, Leopold Aschenbrenner, qui vit désormais à San Francisco et fréquente la frange la plus cérébrale de la population de la Silicon Valley. Sur le papier, il ressemble un peu à un prodige du monde. Sam Bankman-Fried mold – un génie des mathématiques qui a obtenu son diplôme d’une université américaine d’élite à l’adolescence, a passé du temps à Oxford avec les gens du Future of Humanity Institute et a travaillé pour l’équipe de « superalignement » d’OpenAI (maintenant dissous), avant de créer une société d’investissement axée sur l’AGI (intelligence générale artificielle) avec un financement du Frères Collison, Patrick et John – fondateurs de Stripe – une paire de cookies pointus qui ne soutiennent pas les perdants.

Cet Aschenbrenner est donc intelligent, mais il a aussi de la peau dans le jeu. Le deuxième point peut être pertinent car l’essentiel de son méga-essai est que la superintelligence arrive (avec l’AGI comme tremplin) et que le monde n’est pas prêt pour cela.

L’essai comporte cinq sections. Le premier trace le chemin de GPT-4 (où nous en sommes actuellement) à AGI (qui, selon lui, pourrait arriver dès 2027). La seconde retrace le chemin hypothétique de l’AGI à la véritable superintelligence. Le troisième aborde quatre « défis » que les machines superintelligentes poseront au monde. La quatrième section décrit ce qu’il appelle le « projet » nécessaire pour gérer un monde équipé (dominé par ?) de machines superintelligentes. La cinquième section est le message d’Aschenbrenner à l’humanité sous la forme de trois « principes » du « réalisme AGI ».

Dans sa vision de l’évolution de l’IA à court terme, Aschenbrenner est fondamentalement un déterministe optimiste, dans le sens où il extrapole le passé récent en supposant que les tendances se poursuivent. Il ne peut pas voir un graphique ascendant sans l’étendre. Il classe les LLM (grands modèles de langage) par capacité. Ainsi, GPT-2 était de niveau « enfant d’âge préscolaire » ; GPT-3 était « élève du primaire » ; GPT-4 est un « lycéen intelligent » et une augmentation massive de la puissance de calcul nous amènera apparemment d’ici 2028 à « des modèles aussi intelligents que des docteurs ou des experts qui peuvent travailler à nos côtés en tant que collègues ». En passant, pourquoi les promoteurs de l’IA considèrent-ils toujours les titulaires d’un doctorat comme l’incarnation de la perfection humaine ?

Après 2028 vient le grand pas : de l’AGI à la superintelligence. Dans l’univers d’Aschenbrenner, l’IA ne s’arrête pas aux capacités humaines. « Des centaines de millions d’AGI pourraient automatiser la recherche sur l’IA, compressant ainsi une décennie de progrès algorithmique en un an. Nous passerions rapidement d’un niveau humain à des systèmes d’IA largement surhumains. Le pouvoir – et le péril – de la superintelligence serait dramatique.

La troisième section de l’essai contient une exploration de ce à quoi pourrait ressembler un tel monde en se concentrant sur quatre aspects de celui-ci : les exigences de calcul inimaginables (et désastreuses pour l’environnement) nécessaires à son fonctionnement ; les difficultés de maintenir la sécurité des laboratoires d’IA dans un tel monde ; le problème de l’alignement des machines sur les objectifs humains (difficile mais pas impossible, pense Aschenbrenner) ; et les conséquences militaires d’un monde de machines superintelligentes.

C’est seulement lorsqu’il aborde le quatrième de ces sujets que l’analyse d’Aschenbrenner commence vraiment à se diviser en thèmes. L’analogie avec les armes nucléaires traverse sa pensée, comme le message inscrit dans un bâton de pierre de Blackpool. Il considère que les États-Unis en sont au stade de l’IA après le premier test Trinity de J. Robert Oppenheimer au Nouveau-Mexique – devant l’URSS, mais pas pour longtemps. Et dans cette métaphore, bien entendu, la Chine joue le rôle de l’empire soviétique.

Soudainement, la superintelligence est passée du statut de problème pour l’humanité à celui de question urgente pour la sécurité nationale des États-Unis. « Les États-Unis ont une avance », écrit-il. « Nous devons juste le garder. Et nous sommes en train de tout gâcher en ce moment. Surtout, nous devons rapidement et radicalement verrouiller les laboratoires d’IA, avant de divulguer les avancées clés de l’AGI dans les 12 à 24 prochains mois… Nous devons construire les clusters informatiques aux États-Unis, et non dans des dictatures qui offrent de l’argent. Et oui, les laboratoires américains d’IA ont le devoir de travailler avec la communauté du renseignement et l’armée. L’avance de l’Amérique en matière d’IAG ne garantira pas la paix et la liberté en créant simplement les meilleures applications d’IA pour les petites amies. Ce n’est pas joli, mais nous devons développer l’IA pour la défense américaine.»

Tout ce qu’il faut c’est un nouveau Projet Manhattan. Et un complexe AGI-industriel.

Ce que j’ai lu

Coup de despote
Dans l’ancien bloc de l’Est, ils sont terrifiés par une présidence Trump est une pièce intéressante dans le Nouvelle République à propos de gens qui savent quelque chose sur la vie sous la tyrannie.

La Normandie revisitée
L’historien Adam Tooze 80 ans après le jour J : la Seconde Guerre mondiale et la « grande accélération » est une réflexion sur l’anniversaire de la guerre.

Empêchement légal
Bilan des monopoles : le Harvey Weinstein de l’antitrust » est le blog de Matt Stoller sur Joshua Wright, l’avocat qui, pendant de nombreuses années, a eu un impact dévastateur sur l’application des lois antitrust aux États-Unis.