Illustration: Petra Péterffy / The Guardian
« La technologie se produit parce que c’est possible », a déclaré Sam Altman, PDG d’Openai, au New York Times en 2019, paraphrasant consciemment Robert Oppenheimer, le père de la bombe atomique.
Altman capture un mantra de la Silicon Valley: la technologie marche inexorablement.
Une autre conviction généralisée des techniciens est que la première IA au niveau de l’homme – également connu sous le nom d’intelligence générale artificielle (AGI) – mènera à l’un des deux futurs: une techno-utopie post-scarcity ou l’annihilation de l’humanité.
Pour d’innombrables autres espèces, l’arrivée des humains a épelé Doom. Nous n’étions pas plus durs, plus rapides ou plus forts – juste plus intelligents et mieux coordonnés. Dans de nombreux cas, l’extinction était un sous-produit accidentel d’un autre objectif que nous avions. Un vrai AGI équivaudrait à créer une nouvelle espèce, qui pourrait rapidement nous surpasser ou nous surpasser. Il pourrait voir l’humanité comme un obstacle mineur, comme une fourmile à la manière d’un barrage hydroélectrique planifié, ou d’une ressource à exploiter, comme les milliards d’animaux confinés dans les fermes d’usine.
Altman, ainsi que les chefs des autres meilleurs laboratoires AI, estime que l’extinction dirigée par l’IA est une réelle possibilité (rejoignant des centaines de chercheurs de premier plan et de personnalités importantes).
Compte tenu de tout cela, il est naturel de demander: devrions-nous vraiment essayer de construire une technologie qui peut nous tuer tous si cela ne va pas?
La réponse la plus courante dit peut-être: AGI est inévitable. C’est tout simplement trop utile pour ne pas construire. Après tout, Agi serait la technologie ultime – ce qu’un collègue d’Alan Turing a appelé «la dernière invention dont l’homme a besoin». De plus, le raisonnement va dans les laboratoires AI, si nous ne le faisons pas, quelqu’un d’autre le fera – moins de manière responsable, bien sûr.
Une nouvelle idéologie hors de la Silicon Valley, accélérénisme efficace (E / ACC), affirme que l’inévitabilité de l’AGI est une conséquence de la deuxième loi de la thermodynamique et que son moteur est «Techocapital». Le manifeste E / ACC affirme: «Ce moteur ne peut pas être arrêté. Le cliquet de progrès ne se tourne jamais dans une seule direction. Retour n’est pas une option.»
Pour Altman Et E / ACCS, la technologie prend une qualité mystique – la marche de l’invention est traitée comme un fait de la nature. Mais ce n’est pas le cas. La technologie est le produit de choix humains délibérés, motivés par une myriade de forces puissantes. Nous avons l’agence pour façonner ces forces, et l’histoire montre que nous l’avons déjà fait.
Aucune technologie n’est inévitable, pas même quelque chose d’aussi tentant qu’Agi.
Certains inquiétudes de l’IA aiment souligner le temps que l’humanité a résisté et a retenu les technologies précieuses.
Craignant de nouveaux risques, les biologistes ont initialement interdit puis ont réussi à réguler avec succès des expériences sur l’ADN recombinant dans les années 1970.
Aucun humain n’a été reproduit par le clonage, même s’il est techniquement possible depuis plus d’une décennie, et le seul scientifique à des humains génétiquement ingénieurs a été emprisonné pour ses efforts.
L’énergie nucléaire peut fournir une énergie cohérente sans carbone, mais les craintes vives de la catastrophe ont motivé les réglementations étouffantes et les interdictions pur et simple.
Et si Altman connaissait plus l’histoire du projet de Manhattan, il pourrait réaliser que la création d’armes nucléaires en 1945 était en fait un résultat très contingent et improbable, motivé par une croyance erronée que les Allemands étaient en avance dans une «race» pour la bombe. Philip Zelikow, l’historien qui a dirigé la commission du 11 septembre, a déclaré: «Je pense que les États-Unis n’avaient pas construit une bombe atomique pendant la Seconde Guerre mondiale, ce n’est en fait pas clair pour moi quand ou peut-être même si Une bombe atomique est construite. »
Il est maintenant difficile d’imaginer un monde sans armes nucléaires. Mais dans un épisode peu connu, le président Ronald Reagan et le leader soviétique Mikhail Gorbatchev ont presque accepté d’abandonner toutes leurs bombes (un malentendu sur le système de défense par satellite «Star Wars» a anéanti ces espoirs). Même si le rêve d’un désarmement complet ne reste que cela, Nuke Counts représente moins de 20% de leur pic de 1986, grâce en grande partie aux accords internationaux.
Ces choix n’ont pas été faits dans le vide. Reagan était un ardent adversaire du désarmement avant que le mouvement de gel nucléaire qui se rende des millions. En 1983, il a commenté son secrétaire d’État: «Si les choses deviennent plus chaudes et plus chaudes et que le contrôle des armes reste un problème, je devrais peut-être aller voir [Soviet leader Yuri] Andropov et proposent d’éliminer toutes les armes nucléaires. »
Il y a des incitations économiques extrêmement fortes à continuer de brûler les combustibles fossiles, mais le plaidoyer climatique a ouvert la fenêtre Overton et a accéléré considérablement nos efforts de décarbonisation.
En avril 2019, la rébellion d’extinction du groupe climat du jeune climat (XR) a arrêté Londres, exigeant les émissions de carbone de zéro cible britannique d’ici 2025. Leur désobéissance civile controversée a incité le Parlement à déclarer l’urgence climatique et le parti travailliste à adopter une cible de 2030 pour décarler la production d’électricité du Royaume-Uni.
La campagne Beyond Coal du Sierra Club était moins connue mais extrêmement efficace. Au cours de ses cinq premières années, la campagne a contribué à fermer plus du tiers des centrales à charbon américaines. Grâce principalement à son déménagement du charbon, les émissions de carbone américaines par habitant sont désormais inférieures à ce qu’elles ne l’étaient en 1913.
À bien des égards, le défi de réguler les efforts pour construire AGI est beaucoup plus petit que celui du décarbonisation. Quatre-vingt-deux pour cent de la production d’énergie mondiale provient de combustibles fossiles. L’énergie est ce qui fait fonctionner la civilisation, mais nous ne dépendons pas d’un AGI hypothétique pour faire tourner le monde.
De plus, ralentir et guider le développement de futurs systèmes ne signifie pas que nous aurions besoin de cesser d’utiliser des systèmes existants ou de développer des IA spécialisées pour s’attaquer aux problèmes importants en médecine, climat et ailleurs.
Il est évident pourquoi tant de capitalistes sont des passionnés de l’IA: ils prévoient une technologie qui peut réaliser leur rêve de longue date de couper les travailleurs de la boucle (et le bilan).
Mais les gouvernements ne sont pas des maximisateurs à profit. Bien sûr, ils se soucient de la croissance économique, mais ils se soucient également de choses comme l’emploi, la stabilité sociale, la concentration du marché et, parfois, la démocratie.
Il est beaucoup moins clair comment AGI affecterait dans l’ensemble ces domaines. Les gouvernements ne sont pas préparés pour un monde où la plupart des gens sont technologiquement au chômage.
Les capitalistes obtiennent souvent ce qu’ils veulent, en particulier au cours des dernières décennies, et la poursuite illimitée du profit peut saper tout effort réglementaire pour ralentir la vitesse du développement de l’IA. Mais les capitalistes ne le font pas toujours Obtenez ce qu’ils veulent.
Dans un bar de San Francisco en février, un chercheur de longue date en matière de sécurité Openai a prononcé à un groupe que les E / ACC ne devraient pas s’inquiéter des personnes «extrêmes» de la sécurité de l’IA, car ils n’auront jamais de pouvoir. Les boosters devraient réellement avoir peur de l’AOC et du sénateur Josh Hawley parce qu’ils «peuvent vraiment baiser les choses pour vous».
En supposant que les humains restent pendant plusieurs millénaires, il n’y a aucun moyen de savoir que nous ne finirons pas par AGI. Mais ce n’est pas vraiment ce que disent les inévitabilisations. Au lieu de cela, le message a tendance à être: Agi est imminent. La résistance est futile.
Mais que nous construisions AGI en cinq, 20 ou 100 ans vraiment compte. Et le calendrier est bien plus sous notre contrôle que les boosters ne l’admettra. Au fond, je soupçonne que beaucoup d’entre eux réalisent cela, c’est pourquoi ils dépensent autant d’efforts pour convaincre les autres qu’il est inutile d’essayer. De plus, si vous pensez qu’Agi est inévitable, pourquoi se soucier de convaincre quelqu’un?
En fait, nous avions la puissance de calcul nécessaire pour entraîner le GPT-2 plus d’une décennie avant que Openai ne le fasse réellement, mais les gens ne savaient pas si cela valait la peine.
Mais en ce moment, les meilleurs laboratoires AI sont enfermés dans une course si féroce qu’ils n’implémentent pas toutes les précautions que même leurs propres équipes de sécurité veulent. (Un employé d’Openai annoncé Récemment, il a quitté «en raison de la perte de confiance que cela se comporterait de manière responsable à l’époque de l’AGI».) Il y a une «taxe de sécurité» que les laboratoires ne peuvent pas se permettre de payer s’ils espèrent rester compétitifs; Le test ralentit les versions de produits et consomme des ressources de l’entreprise.
Les gouvernements, en revanche, ne sont pas soumis aux mêmes pressions financières.
Un entrepreneur technologique inévitabiliste récemment dit La régulation du développement d’IA est impossible «à moins que vous ne contrôliez chaque ligne de code écrit». Cela pourrait être vrai si quelqu’un pouvait tourner un AGI sur son ordinateur portable. Mais il s’avère que la construction de modèles avancés et généraux d’IA nécessite d’énormes tableaux de superordinateurs, avec des puces produites par une industrie absurdement monopolistique. Pour cette raison, de nombreux défenseurs de la sécurité de l’IA considèrent «calculer la gouvernance» comme une approche prometteuse. Les gouvernements pourraient obliger les fournisseurs de cloud computing pour arrêter les courses de formation de prochaine génération qui ne sont pas conformes aux garde-corps établis. Loin de verrouiller les arrivants ou nécessiter des niveaux de surveillance orwelliens, les seuils pourraient être choisis pour affecter uniquement les joueurs qui peuvent se permettre de dépenser plus de 100 millions de dollars pour une seule course d’entraînement.
Les gouvernements doivent se soucier de la concurrence internationale et du risque de désarmement unilatéral, pour ainsi dire. Mais les traités internationaux peuvent être négociés pour partager largement les avantages des systèmes d’IA de pointe tout en veillant à ce que les laboratoires n’étend pas aveuglément des systèmes qu’ils ne comprennent pas.
Et bien que le monde puisse se sentir fraceux, les nations rivales ont coopéré à des degrés surprenants.
Le protocole de Montréal a fixé la couche d’ozone en interdisant les chlorofluorocarbures. La plupart du monde a accepté des interdictions à motivation éthique d’armes militairement utiles, telles que des armes biologiques et chimiques, des armes laser aveuglantes et une «guerre météorologique».
Dans les années 1960 et 70, de nombreux analystes craignaient que tous les pays qui pouvaient construire des armes nucléaires,. Mais la plupart des programmes nucléaires d’environ trois douzaines du monde ont été abandonnés. Ce n’était pas le résultat d’un hasard, mais plutôt de la création d’une norme mondiale de non-prolifération grâce à des états délibérés, comme le traité de non-prolifération de 1968.
À quelques occasions où les Américains ont demandé s’ils voulaient une IA surhumaine, les grandes majorités ont déclaré «non». L’opposition à l’IA s’est développée à mesure que la technologie est devenue plus répandue. Lorsque les gens soutiennent que AGI est inévitable, ce qu’ils disent vraiment, c’est que la volonté populaire ne devrait pas avoir d’importance. Les Boosters voient les masses comme des néo-dédites provinciaux qui ne savent pas ce qui est bon pour eux. C’est pourquoi l’inévitabilité leur a une telle attraction rhétorique pour eux; Cela leur permet d’éviter de faire leur véritable argument, qu’ils savent être un perdant à la Cour de l’opinion publique.
Le tirage d’AGI est fort. Mais les risques impliqués sont potentiellement à la fin de la civilisation. Un effort à l’échelle de la civilisation est nécessaire pour obliger les pouvoirs nécessaires pour y résister.
La technologie se produit parce que les gens y arrivent. Nous pouvons choisir autrement.