Martha Wells, auteur de All Systems Red
Lisa Elliott Blaschke
Quand j’ai écrit Tous les systèmes rougesl’un de mes objectifs était de réfléchir à ce que voudrait réellement une intelligence artificielle, par opposition à ce qu’un humain pense. intelligence artificielle voudrait. Bien sûr, il n’existe aucun moyen réel de le savoir. Le texte prédictif les robots Les IA que nous avons actuellement ne sont pas plus sensibles qu’une tasse de café et beaucoup moins utiles pour autre chose que la génération de spam. (Ils consomment également une quantité inadmissible de nos ressources limitées en énergie et en eau, nous envoyant encore plus loin vers le désastre climatique, mais c’est un autre essai.)
Dans le monde de Tous les systèmes rouges, les humains contrôlent leurs constructions sensibles avec des modules de gouverneur qui punissent toute tentative de désobéissance aux ordres par la douleur ou la mort. Lorsque Murderbot pirate son module de régulation, il devient essentiellement libre de tout contrôle humain. Les humains supposent que Unités Sec qui ne sont pas sous le contrôle total d’un module de gouverneur vont immédiatement se déchaîner.
Cette croyance a plus à voir avec la culpabilité qu’avec tout autre facteur. Les esclavagistes humains savent, dans une certaine mesure, que traiter les constructions sensibles comme des objets jetables, des outils utiles qui peuvent être jetés, est une erreur ; ils savent que si cela leur était fait, ils seraient remplis de rage et voudraient se venger des choses terribles qu’ils ont subies.
Les arguments pour et contre l’asservissement des êtres sensibles sont présents à l’origine des histoires de robots et d’intelligence artificielle. Le mot robot a fait son chemin dans la langue anglaise grâce à RUR (Robots universels de Rossum) par Karel Capek, écrit comme une pièce de théâtre en 1920, sur une révolte d’esclaves par des êtres artificiels créés par une société pour servir les humains. Čapek était contre l’esclavage des êtres sensibles, et il était assez clair sur ce point. Il est donc intéressant de voir combien d’histoires d’intelligence artificielle écrites depuis lors affirment l’idée qu’il est en quelque sorte acceptable pour les humains de créer un être sensible dont la seule raison et le seul but d’exister est de les servir. Beaucoup de ces histoires se terminent par une intelligence artificielle s’opposant vigoureusement à son asservissement et se livrant à un déchaînement meurtrier, que les courageux humains doivent vaincre. Le déchaînement devient une justification pour l’asservissement et la destruction ultime de l’intelligence artificielle en colère.
Murderbot est en colère, et cette colère sous-tend une grande partie de son histoire. Mais une fois qu’il a piraté son module de gouverneur et qu’il n’a plus la crainte constante que tout mouvement erroné ou suspect le punisse ou le tue instantanément, il a la capacité de faire ses propres choix pour la première fois de son existence. Mais Murderbot n’a jamais eu cette liberté auparavant ; il n’est pas habitué à prendre ses propres décisions concernant son comportement et est immédiatement submergé par les choix. Il ne sait pas quoi faire ensuite, où aller ni même s’il existe un endroit où il pourrait aller sans être pourchassé.
La première action gratuite de Murderbot consiste donc à effectuer une recherche dans le flux, la version Internet de Corporation Rim. C’est la première fois qu’il peut accéder au flux sans surveillance humaine, et parmi beaucoup d’autres choses intéressantes, il trouve des divertissements téléchargeables. Cela fournit une distraction bien nécessaire de sa situation. Et Murderbot décide que, s’il avait le choix entre un déchaînement meurtrier ou continuer à profiter de cette évasion mentale réconfortante de sa dure et douloureuse réalité, il choisira l’évasion réconfortante.
Les drames, mystères, aventures et autres émissions qu’il regarde lui donnent également un contexte pour le comportement humain et pour comprendre ses propres émotions. Les contrats de sécurité avec lesquels il a travaillé dans des colonies minières, supervisant des travailleurs sous contrat, ne font que le montrer sous son pire jour : en colère, terrifiés, pleins de ressentiment, piégés et se blessant mutuellement. Et lorsqu’on leur en donne l’occasion, les humains blessent également les constructions qui sont là pour les garder sous contrôle et travaillent pour des entreprises qui considèrent leurs employés comme à peine moins faciles à éliminer que les constructions et les robots.
Les émissions que Murderbot regarde lui apprennent également à connaître le monde plus vaste dont il n’a jamais fait partie auparavant, ainsi que la façon de naviguer dans ce monde. Le divertissement auquel Murderbot devient accro est en grande partie ce qui permet de transformer l’évasion mentale de la réalité en une tentative de liberté réelle.
Tous les systèmes rouges, publié par Tor.com, est disponible dès maintenant. C’est la dernière sélection du New Scientist Book Club : inscrivez-vous ici à lire avec nos membres
Les sujets:
