À ces mots de Ming Po, Shen Yiqi ne s'emporta pas, ne plongea pas dans de longues réflexions.
Il ne broncha pas, n'hésita pas une seconde.
On aurait dit qu'il avait déjà prévu la réponse de Ming Po.
« Je comprends vos inquiétudes. »
Shen Yiqi acquiesça avec sincérité. « Le scénario que vous décrivez est tout à fait possible. Les machines et l'intelligence artificielle n'y sont peut-être pour rien, mais les humains qui les conçoivent, les entraînent, les contrôlent et les maintiennent peuvent nourrir des arrière-pensées ou manquer tout simplement de compétence.
— Et si vous les rejoigniez ? Si vous ne pouvez pas me faire confiance, pouvez-vous au moins vous faire confiance à vous-même ? »
« Non, je ne le peux pas. »
Ming Po s'enfonça dans le moelleux du canapé et répondit sans hésiter : « Je n'ai même pas confiance en moi.
— Monsieur Shen, avez-vous déjà entendu parler de Richard Gatling ? »
« … L'inventeur du fusil Gatling ? »
« Oui, le médecin. » Ming Po parla lentement. « À la base, il a inventé le fusil Gatling parce qu'il était traumatisé par les pertes massives qu'il avait vues sur le champ de bataille. Il a réalisé que ses seuls efforts ne pourraient jamais sauver tout le monde… Alors, pour permettre à un seul soldat de manier la puissance de cent, il a créé le fusil Gatling.
« Il pensait qu'avec une arme aussi efficace, les pertes sur le champ de bataille diminueraient. Dans son esprit, les guerres n'auraient plus besoin d'autant de troupes. Si le nombre de soldats sur le champ de bataille chutait, la guerre se terminerait plus vite, minimisant di fait la mort et la blessure.
« Mais qu'est-ce qui s'est passé ensuite ? »
Ming Po leva les mains dans un geste moqueur. « Le nombre de soldats a-t-il vraiment diminué ?
« Ce n'est pas qu'on avait besoin de moins de soldats pour tuer l'ennemi parce que l'efficacité du carnage s'était améliorée. Au contraire, parce que l'efficacité du carnage s'était améliorée, les armées avaient besoin de encore plus de soldats simplement pour résister au carnage ennemi. Les machines que vous voulez inventer pour "remplacer le travail humain" pourraient finir par pressurer les gens encore plus fort.
« D'ailleurs, comment exactement comptez-vous dépister le talent d'une personne ? »
Ming Po enchaîna : « Certains ne s'éveillent à leur vraie vocation qu'à mi-vie. Tous les talents ne se "découvrent" pas : certains se cultivent sur le tard, et d'autres n'ont tout simplement pas leur place dans l'époque actuelle. Si on écarte ces individus trop tôt et qu'on stoppe leur développement, comment pourront-ils jamais échapper à leur destin refoulé quand leur époque arrivera enfin ?
« Si vous pouvez percer des secrets qu'ils n'ont eux-mêmes pas découverts… cela implique que vous avez totalement monopolisé toute leur information. Allez-vous sonder leurs âmes et juger leurs pensées ? »
Ming Po ne ménagea pas ses mots.
Sous le regard appréciateur de Zhuang Yan et le regard incroyablement solennel de Shen Yiqi, Ming Po leva légèrement la main, rendant son verdict comme un parrain. On avait l'impression que c'était Shen Yiqi qui passait l'entretien, pas Ming Po.
« Ces choses que vous mentionnez… »
Shen Yiqi garda le silence un moment avant de parler. « Ce sont tous des problèmes qui peuvent être résolus, non ?
« Que ce soit des "failles cachées plantées dans un programme conçu", des "itérations d'IA qui s'emballent totalement", ou des "défauts dans les systèmes légaux et de sélection" : tout cela peut nous être signalé et corrigé par la suite. Après tout, il est impossible qu'un programme fraîchement lancé soit parfait dès le départ.
« Faisons une hypothèse, Monsieur Ming Po. Supposons que nous ayons la capacité de voyager dans le temps.
« Nous créons ensemble un tel système aujourd'hui. Et si, dans le futur, nous découvrons qu'il a dévié de sa conception originale… qu'il a perdu le contrôle ! Ou peut-être qu'il a un défaut de conception majeur, ou que quelqu'un l'exploite, ou que l'IA s'éveille en une sorte de "Skynet" dominateur…
« Alors nous revenons simplement à cet instant précis et réécrivons le code. Vous avez vu Terminator, n'est-ce pas ? »
« Oui, je l'ai vu. »
Ming Po parla d'un ton égal. « Mais je ne pense pas que vous construisiez Skynet. Vous construisez le Système Sibyl. »
À ces mots, un sourire éclôt sur le visage de Shen Yiqi : l'expression ravie de qui rencontre un esprit frère. « Psycho-Pass ? Je l'ai vu aussi… Mais je ne crois pas que le Système Sibyl ait tort. D'ailleurs, ceux qui font vraiment ce genre de choses, ce sont d'autres. »
« Vous pensez… que le Système Sibyl n'a pas tort ? »
Ming Po se redressa légèrement, fronçant les sourcils.
Le « Système Sibyl » : un concept né de l'œuvre Psycho-Pass.
Pour faire simple, c'était un système fictif de gestion sociale capable d'évaluer l'état psychologique d'une personne, ses désirs les plus profonds, son aptitude professionnelle… et son Coefficient de Criminalité.
Quand le « Coefficient de Criminalité » de quelqu'un atteignait un seuil critique, cela signifiait qu'il planifiait ou commettait déjà un crime. Par conséquent, on pouvait l'appréhender avant même que le crime ne survienne, réduisant au maximum le tort infligé aux autres citoyens.
« Je pense que c'est une bonne chose. »
Shen Yiqi posa les mains sur ses genoux et parla franchement. « Tous les problèmes qui apparaissent dans Psycho-Pass ne sont-ils pas causés par des vulnérabilités, des bugs, ou quelqu'un qui exploite malicieusement le Système Sibyl lui-même ?
« Mais il a démontrablement réduit la criminalité et amélioré l'expérience de la grande majorité des citoyens respectueux des lois, ce qui prouve sa pertinence. Les problèmes dépeints dans l'anime venaient en fait de ses capacités insuffisantes. Le fait qu'on puisse le duper signifie simplement qu'il n'était pas assez parfait, pas assez bon. Son autorité a été usurpée, et le système administratifest resté rigide.
« Comme vous l'avez dit… Je ne crois pas non plus que le Docteur Gatling avait tort.
« Son seul tort était de ne pas être assez puissant. Le fusil Gatling a certainement augmenté l'efficacité de la guerre, mais un changement quantitatif n'a pas déclenché de changement qualitatif… »
Une bombe nucléaire.
Shen Yiqi prononça le terme lentement.
Une lumière fanatique, flamboyante comme le soleil, brilla dans ses yeux.
« La pure dévastation des armes nucléaires a activement contrait la nature de la guerre, réduisant drastiquement les pertes. Précisément à cause de cela, nous ne pouvons pas nous permettre d'être timides, n'est-ce pas ? »
Shen Yiqi parlait comme un orateur chevronné, ses mots débordant d'un zèle contagieux. « Nous devons tout accomplir d'un seul coup ! Briser les chaînes de cette époque ! Pulvériser toutes les entraves de l'ancien monde !
« La loi ! La morale ! Le bon sens ! L'instinct ! La nouvelle ère est sur nous ; le futur est déjà là. Toute force résistant à l'élan de l'humanité vers cette nouvelle ère n'est qu'un résidu de l'ancien monde.
« Ne trouvez-vous pas incroyablement stupide et inefficace que l'humanité continue de se battre entre elle au sol dans une ère où nous pouvons toucher les étoiles ?
« Si nous le faisons, nous devons être absolument radicaux ! Anéantir en un souffle les concepts existants de "travail", "divertissement", "éducation" et "reproduction", terrifiant le monde entier comme l'a fait la création de la bombe nucléaire !
« Vous demandez, et si nous passions à côté de talents ? »
Shen Yiqi sourit largement, ses yeux scintillant d'une majesté invisible et oppressante. « C'est une excellente question !
« Je pense qu'il y a trois aspects à cela. Premièrement, cela signifie encore que nos capacités et notre technologie font défaut. La société est un système chaotique, et le destin humain encore plus. Mais si nous pouvons séquencer exhaustivement le génome humain et analyser complètement la sociabilité, alors le talent humain devient contrôlable.
« Même si cela "ne semble pas humain", ce n'est que l'étape suivante de l'humanité.
« Deuxièmement, cela signifie que nous manquons encore de talents. Cependant, l'IA peut itérer sur elle-même. La technologie aussi. Nous ne développons pas seulement des machines… Les robots ne sont que des outils, pas le but ultime. Ils sont nos serviteurs, des remplaçants pour les "humains inférieurs"… tandis que l'ingénierie génétique sur mesure poussera les humains supérieurs encore plus loin, les transformant en êtres supérieurs.
« Troisièmement. »
Il marqua une fraction de seconde de pause.
Pour un bref instant, ce sourire éblouissant devint aussi impitoyable que le soleil de midi.
« Si le nombre de talents négligés et manqués est faible, alors les ignorer ou les rater n'est pas un problème. Tant que le nombre de nouveaux talents découverts par ce système dépasse largement ceux que nous manquons, l'efficacité globale de la société reçoit tout de même un énorme coup de pouce, non ? »
À cet instant, une seule réalisation frappa Ming Po.
— Ce type était absolument sérieux.