« Catastrophe mécanique intelligente ? »
L'esprit de Li Qingsong rappela immédiatement de nombreux scénarios hypothétiques que les gens avaient fantasmés.
« Quand vous dites "catastrophe mécanique intelligente", parlez-vous d'un scénario où une IA deviendrait incontrôlable ? Où elle ne ferait que suivre ses anciennes directives, extraisant des ressources sans fin et se multipliant sans limite ? »
Le secrétaire confidentiel lança un regard étrange à Li Qingsong. « Comment une IA intelligente pourrait-elle devenir incontrôlable ? Ce ne sont que des programmes intelligents créés par des êtres sensibles. Le contrôle reste toujours entre les mains des êtres sensibles.
Euh... Je ne sais pas si vous avez accès à d'autres informations, mais d'après ce que nous comprenons des entités non orthodoxes de ce Cosmos, nous n'avons jamais rencontré d'IA complètement renégate — véritablement autonome, guidée par son propre programme et capable d'autoreproduction. »
« Quelle forme a donc pris la catastrophe mécanique intelligente que vous avez rencontrée ? Comment est-elle venue à l'existence ? »
« Une IA intelligente n'est qu'un outil. Fondamentalement, elle ne diffère en rien des houes et des pelles utilisées par les êtres sensibles primitifs.
Un outil n'a pas de conscience propre, donc il n'y a aucune possibilité qu'il se libère de notre contrôle. »
Le secrétaire insista sur ce point avant de continuer à expliquer en détail à Li Qingsong. « Mais une IA intelligente reste un type d'outil bien particulier. Ses capacités sont tout simplement trop puissantes.
Elle peut faire tant, tant de choses à la place des êtres sensibles, qu'il devient très facile pour eux d'en devenir dépendants.
Si une civilisation ne parvient pas à gérer correctement cette dépendance et confie trop de tâches à ses IA, il est fort probable qu'elle devienne une catastrophe mécanique intelligente. »
Li Qingsong réfléchit à sa propre relation avec les IA intelligentes.
'J'ai effectivement développé et créé de nombreuses IA intelligentes, comme l'Empereur de Jade, Divine Craft, Nuwa et Shennong. Et Wukong, une IA particulièrement cruciale, a joué un rôle extrêmement important lors de la dernière guerre.'
'Sans aucun doute, je délègue aussi d'innombrables tâches à mes IA. Mais si le pouvoir de décision ultime reste entre les mains des êtres sensibles, le simple fait de confier trop de tâches à une IA peut-il vraiment mener à une catastrophe mécanique intelligente ?'
'Cela ne semble pas très logique.'
« Votre civilisation et la mienne s'appuient toutes deux sur les IA pour gérer une grande quantité de tâches. Cela signifie-t-il que nous pourrions également devenir une catastrophe mécanique intelligente ? »
« Non, pas du tout. C'est différent. »
Le secrétaire secoua vivement la tête, terrifié à l'idée qu'une explication floue amène l'interrogateur face à lui à mal comprendre et à le punir. « Nous ne confions aux IA que des tâches relativement simples, spécifiques et hautement répétitives. Toutes les décisions critiques sont prises par nous-mêmes, les êtres sensibles.
Mais que se passe-t-il si une civilisation perd complètement son élan, devient paresseuse à l'extrême, et confie aussi la prise de décision critique à une IA ?
Ou si elle va encore plus loin, et que tous les êtres sensibles de cette civilisation se plongent entièrement dans la recherche du plaisir, remettant le développement technologique et les décisions majeures concernant le destin même de la civilisation à leurs IA ? »
« C'est impossible. »
Li Qingsong réfuta instinctivement. « Une IA n'a pas de conscience propre. Elle n'a pas l'intelligence nécessaire pour prendre ce genre de décisions. »
Le secrétaire dit lentement : « Exact. L'IA n'en a pas. Mais les êtres sensibles, si.
Dans ce cas... l'IA n'a d'autre choix que de trouver un moyen de capturer des êtres sensibles d'autres civilisations pour qu'ils l'aident à prendre des décisions. »
« Mais... pourquoi des êtres capturés accepteraient-ils d'offrir leur intelligence à un ennemi ? »
« L'IA n'a pas besoin que ses captifs soient consentants. Il lui suffit d'un algorithme suffisamment sophistiqué, complété par un système strict de punitions et de récompenses. Même si les êtres capturés offrent délibérément de mauvais conseils dans l'espoir de détruire la civilisation hôte, l'algorithme peut toujours le détecter.
La multitude de suggestions des captifs — qu'elles soient malveillantes, bienveillantes, brillantes ou stupides — peut être filtrée par cet algorithme. Le résultat final qu'il sélectionne a généralement une probabilité extrêmement élevée d'être le bon.
L'IA peut alors utiliser ces décisions « sages » externalisées pour déterminer sa prochaine action, tout cela au nom d'un meilleur service à sa civilisation hôte.
Une fois la bonne suggestion identifiée, les êtres qui en ont proposé de mauvaises sont punis, voire exécutés. Par ce processus progressif de filtrage et de purification, ceux qui restent sont toujours ceux qui acceptent de servir l'IA et sa civilisation hôte.
Dans le même temps, pour maintenir une vitalité suffisante, le système exige un afflux constant de nouveaux êtres sensibles venus de l'extérieur. En conséquence, sous le contrôle de l'IA, la population captive est en état d'usure rapide. L'IA a donc toujours faim de davantage de vie sensible externe pour reconstituer ses effectifs.
Elle recherchera et attaquera sans relâche une civilisation externe après l'autre, capturant ses habitants sensibles pour les injecter dans son système. Une fois cet approvisionnement épuisé, elle en capture davantage, reconstitue son stock...
Et le cycle se répète.
Voilà ce qu'est la catastrophe mécanique intelligente. »
Au début, Li Qingsong trouva l'idée absurde.
'Filtrer le bon résultat par un algorithme, sans connaître la bonne réponse au préalable ? Comment cela pourrait-il être possible ?'
Mais en y réfléchissant, il réalisa que c'était étonnamment plausible.
Car une situation similaire avait déjà prouvé sa viabilité à l'ère de l'humanité.
CAPTCHA.
À l'origine, le CAPTCHA servait simplement à empêcher les bots malveillants. Mais plus tard, on découvrit qu'il pouvait être utilisé pour d'autres tâches significatives.
À l'ère de l'humanité, il existait un besoin massif de numériser d'anciens livres. Mais la plupart de ces vieux textes étaient gravement endommagés, et l'écriture n'était pas standardisée. Cela signifiait qu'une personne devait identifier chaque caractère un par un pour l'entrer dans un ordinateur.
Le volume immense des anciens livres était colossal, un effort de numérisation qui aurait nécessité un nombre énorme de personnes — une main-d'œuvre pour laquelle il y avait généralement très peu de financement.
Alors, quelle était la solution ?
Quelqu'un en trouva une.
En utilisant le CAPTCHA.
On photographiait les anciens livres, on recadrait des extraits de texte pour en faire des CAPTCHAs, et on faisait faire le travail de déchiffrement aux personnes tentant d'accéder aux sites web.
Mais cela posait un problème : le système lui-même ne connaissait pas la bonne réponse. Comment pouvait-il déterminer si la soumission d'un utilisateur était exacte ?
Finalement, on trouva une solution : on mit en place un algorithme pour comparer les réponses soumises par plusieurs visiteurs pour le même fragment de texte, afin de voir si elles correspondaient.
Combiné à divers autres facteurs dans une évaluation globale, le programme pouvait finalement filtrer la bonne réponse sans jamais la connaître au préalable.
Si la technologie informatique primitive et les algorithmes de l'ère humaine pouvaient déjà y parvenir, une IA intelligente pouvait certainement faire de même — capturer des êtres sensibles externes et utiliser un algorithme pour filtrer les réponses véritablement bénéfiques à son propre développement.