Karen Hao sur l’Empire de l’IA, Agi évangélistes et le coût de la croyance

Au centre de chaque empire se trouve une idéologie, un système de croyance qui propulse le système à terme et justifie l’expansion – même si le coût de cette expansion défie directement la mission déclarée de l’idéologie.

Pour les puissances coloniales européennes, c’était le christianisme et la promesse de sauver les âmes tout en extrait les ressources. Pour l’empire de l’IA d’aujourd’hui, c’est l’intelligence générale artificielle de «bénéficier à toute l’humanité». Et Openai est son principal évangéliste, répandant le zèle à travers l’industrie d’une manière qui a recadré la construction de l’IA.

«J’interviewais des personnes dont les voix tremblaient de la ferveur de leurs croyances en AGI», Karen Hao, journaliste et auteur à succès de «Empire de l’IA», A déclaré à > sur un épisode récent de Équité.

Dans son livre, Hao compare l’industrie de l’IA en général, et Openai en particulier, à un empire.

“La seule façon de vraiment comprendre la portée et l’échelle du comportement d’Openai … est en fait de reconnaître qu’ils sont déjà devenus plus puissants que à peu près n’importe quel État national dans le monde, et ils ont consolidé une quantité extraordinaire non seulement de la puissance économique, mais aussi du pouvoir politique”, a déclaré Hao. «Ils terraforment la terre. Ils recâblent notre géopolitique, toutes nos vies. Et donc vous ne pouvez le décrire que comme un empire.»

OpenAI a décrit AGI comme «un système hautement autonome qui surpasse les humains à un travail le plus économiquement précieux», qui «augmentera en quelque sorte l’humanité en augmentant l’abondance, en turbant l’économie et en aidant dans la découverte de nouvelles connaissances scientifiques qui changent les limites de la possibilité».

Ces promesses nébuleuses ont alimenté la croissance exponentielle de l’industrie – ses demandes de ressources massives, ses océans de données grattés, ses réseaux énergétiques tendus et la volonté de libérer des systèmes non testés dans le monde. Tout au service d’un avenir qui, selon de nombreux experts, ne peut jamais arriver.

Hao dit que ce chemin n’était pas inévitable et que la mise à l’échelle n’est pas le seul moyen d’obtenir plus d’avancées dans l’IA.

«Vous pouvez également développer de nouvelles techniques dans les algorithmes», a-t-elle déclaré. «Vous pouvez améliorer les algorithmes existants pour réduire la quantité de données et de calcul qu’ils doivent utiliser.»

Mais cette tactique aurait signifié sacrifier la vitesse.

“Lorsque vous définissez la quête pour construire AGI bénéfique comme celui où le vainqueur prend tout – c’est ce que Openai a fait – alors la chose la plus importante est la vitesse de quoi que ce soit d’autre”, a déclaré Hao. «Vitesse sur l’efficacité, vitesse sur la sécurité, vitesse sur la recherche exploratoire.»

Pour OpenAI, a-t-elle dit, la meilleure façon de garantir la vitesse était de prendre des techniques existantes et de «faire la chose intellectuellement bon marché, qui est de pomper plus de données, plus de supercalculateurs, dans les techniques existantes».

Openai a préparé le terrain et plutôt que de prendre du retard, d’autres sociétés technologiques ont décidé de faire la queue.

“Et parce que l’industrie de l’IA a réussi à capturer la plupart des meilleurs chercheurs de l’IA au monde, et que ces chercheurs n’existent plus dans le monde universitaire, alors vous avez une discipline entière maintenant façonnée par l’ordre du jour de ces entreprises, plutôt que par une véritable exploration scientifique”, a déclaré Hao.

Les dépenses ont été et seront astronomiques. La semaine dernière, Openai a déclaré qu’il s’attendait à brûler 115 milliards de dollars en espèces d’ici 2029. Meta a déclaré en juillet qu’il passerait jusqu’à 72 milliards de dollars sur la construction d’infrastructures d’IA cette année. Google prévoit de frapper 85 milliards de dollars Dans les dépenses en capital pour 2025, dont la plupart seront consacrées à l’élargissement des infrastructures d’IA et de cloud.

Pendant ce temps, les poteaux d’objectif continuent de bouger, et les «avantages les plus élevés à l’humanité» ne se sont pas encore matérialisés, même si les dommages montent. Des dommages comme la perte d’emploi, la concentration de richesse et CHATBOTS IA qui alimentent les délires et la psychose. Dans son livre, Hao documente également les travailleurs dans des pays en développement comme le Kenya et le Venezuela qui ont été exposés à un contenu troublant, y compris un matériel d’abus sexuel pour enfants, et ont été payés des salaires très bas – environ 1 à 2 $ de l’heure – dans des rôles tels que la modération du contenu et l’étiquetage des données.

Hao a déclaré que c’était un faux compromis de faire progresser l’IA contre les dommages actuels, en particulier lorsque d’autres formes d’IA offrent de réels avantages.

Elle a souligné le prix du prix Nobel de Google Deepmind Alphafoldqui est formé sur les données de séquence d’acides aminés et les structures de repliement des protéines complexes, et peut désormais prédire avec précision la structure 3D des protéines de leurs acides aminés – profondément utile pour la découverte et la compréhension des médicaments.

“Ce sont les types de systèmes d’IA dont nous avons besoin”, a déclaré Hao. «Alphafold ne crée pas de crises en santé mentale chez les personnes. Alphafold ne mène pas à des dommages environnementaux colossaux… car il est formé à une infrastructure nettement moins. [the datasets don’t have] Toutes les conneries toxiques que vous avez assemblées lorsque vous grattiez Internet. »

Parallèlement à l’engagement quasi-religieux envers AGI a été un récit sur l’importance de la course pour Battre la Chine dans la course AIafin que la Silicon Valley puisse avoir un effet libéralisant sur le monde.

“Littéralement, l’inverse s’est produit”, a déclaré Hao. «L’écart a continué de se combler entre les États-Unis et la Chine, et la Silicon Valley a eu un effet d’illibéralisation sur le monde… et le seul acteur qui en est sorti indemne, vous pourriez dire, est la Silicon Valley elle-même.»

Bien sûr, beaucoup diront qu’Openai et d’autres sociétés d’IA ont profité à l’humanité en publiant Chatgpt et d’autres modèles de langues importants, qui promettent d’énormes gains en productivité en automatisant des tâches telles que le codage, l’écriture, la recherche, le support client et d’autres tâches de travail des connaissances.

Mais la façon dont Openai est structurée – en partie à but non lucratif, en partie à but lucratif – complique la façon dont il définit et mesure son impact sur l’humanité. Et c’est encore compliqué par les nouvelles cette semaine que Openai a conclu un accord avec Microsoft Cela le rapproche éventuellement de devenir public.

Deux anciens chercheurs d’Openai en matière de sécurité ont déclaré à > qu’ils craignaient que le laboratoire d’IA ait commencé à confondre ses missions à but lucratif et à but non lucratif – que parce que les gens aiment utiliser Chatgpt et d’autres produits construits sur des LLM, cela coche la boîte de l’humanité bénéficiant.

Hao a fait écho à ces préoccupations, décrivant les dangers d’être ainsi consommés par la mission que la réalité est ignorée.

“Même si les preuves s’accumulent que ce qu’ils construisent nuisent réellement à des quantités importantes de personnes, la mission continue de mettre tout cela”, a déclaré Hao. «Il y a quelque chose de vraiment dangereux et sombre à ce sujet, de [being] Tellement enveloppé dans un système de croyances que vous avez construit que vous perdez le contact avec la réalité. »