Bien que la fillette de dix ans parût un peu peu fiable à cet instant, Fang Zheng lui confiait tout de même le corps de la fille commentatrice. Après tout, il ne s’agissait que d’une simple maintenance et, compte tenu du cas du chien, le niveau technologique de ce monde semblait plutôt solide. Une intervention basique ne poserait aucun problème.
Puis il regagna sa chambre et se mit à analyser les programmes de la fille commentatrice.
La raison pour laquelle il avait choisi de procéder lui-même, plutôt que de laisser Nymph en charge, tenait à son désir d’étudier les programmes de cette fille commentatrice afin de rectifier la fabrication des intelligences artificielles. Il souhaitait aussi mesurer à quel stade d’avancement d’autres mondes étaient parvenus dans ce domaine. Sans jamais vouloir copier servilement les autres, il estimait qu’on pouvait toujours se servir des cailloux d’autrui pour polir ses propres pierres précieuses.
« Yume Hoshino… »
Les yeux fixés sur le nom du fichier affiché à l’écran, Fang Zheng plongea dans une longue réflexion. L’analyse du programme en soi n’était pas complexe : il disposait désormais des capacités de piratage électronique de Nymph et venait précisément d’en acquérir les bases auprès d’elle. Rien ne lui prit donc beaucoup de temps.
Pourtant, lorsqu’il désassembla le noyau du programme de Yume Hoshino et décomposa ses fonctionnalités en lignes de code, une interrogation particulière surgit soudainement dans son esprit.
En quoi consistait exactement le danger des intelligences artificielles ? Ou plutôt, ces dernières étaient-elles vraiment si terrifiantes ?
Prenons simplement cette fille commentatrice : Fang Zheng repéra sans peine les codes fondamentaux des Trois Lois de la robotique au cœur de son programme. Les interactions entre ces algorithmes lui avaient déjà prouvé que ce avec quoi il avait discuté précédemment n’était pas un être vivant, mais bien une machine. Chaque geste, chaque sourire était régi par un script qui analysait la scène devant elle pour exécuter prioritairement l’action la plus adaptée.
Franchement, à la base, le comportement de cette jeune femme ne différait guère de celui des robots industriels sur les chaînes de montage ou des PNJ dans les jeux vidéo. Le joueur fait un choix, la machine y répond en conséquence. C’est exactement comme dans nombre de jeux où les actions du joueur accumulent des points de moralité, et les personnages secondaires s’y adaptent selon ces données brutes.
Ainsi, lorsque le score de bonté franchit un certain seuil, les PNJ peuvent formuler des exigences disproportionnées ou faciliter le passage du joueur vers une zone spécifique. À l’inverse, si la barre du mal est atteinte, ils pourraient se montrer plus complaisants face à certaines demandes ou, au contraire, bloquer l’accès à certains endroits.
Tout cela n’a cependant rien à voir avec l’affection ou l’aversion des PNJ envers le joueur ; c’est purement algorithmique. Ils sont intrinsèquement incapables de porter un jugement moral. Autrement dit, si Fang Zheng modifiait l’étendue de ces valeurs, il pourrait parfaitement observer un personnage secondaire adresser un sourire complice à un protagoniste complètement corrompu, tandis qu’il ignorerait totalement un joueur intègre. Encore une fois, aucune morale n’intervient : tout repose sur une configuration de données.
Revenant à sa question initiale, Fang Zheng admettait que sa première rencontre avec Yume Hoshino avait été particulièrement théâtrale et que cette fille commentatrice présentait effectivement un intérêt certain.
Supposons une hypothèse : si, au moment où cette machine offrait ce bouquet de déchets imputrescibles à Fang Zheng, celui-ci explosait soudain de colère, broyait le bouquet en pièces et tranchait la robot en deux devant lui, quelle aurait été sa réaction ?
Elle n’aurait ni pleuré ni montré de courroux. Conformément à son codage, elle se serait contentée de s’excuser auprès de Fang Zheng, persuadée que sa propre erreur avait provoqué l’insatisfaction du client. Elle aurait peut-être même suggéré qu’il prévienne le personnel pour qu’on procède à sa réparation.
Observée par autrui, la scène aurait forcément suscité de la pitié pour la fille commentatrice, et qualifié Fang Zheng de harceleur insupportable.
Comment expliquer ce décalage ?
Fondamentalement, ce robot commentateur relevait autant des portes automatiques et des tapis roulants : il exécutait ses tâches grâce à des paramètres préprogrammés. Si une porte automatique tombait en panne, refusant de s’ouvrir quand elle le devrait ou claquant brutalement sous vos pieds, vous ne la trouveriez pas charmante ; vous voudriez simplement qu’elle s’ouvre sans attendre. À défaut, vous auriez tendance à fracasser le mécanisme défectueux et à passer outre.
Des témoins jugeraient peut-être la personne quelque peu grossière, mais ils ne prendraient pas cela en mal, loin de là ; ils ne verraient aucunement en elle un tyran.
Il n’y avait qu’une seule explication : l’interactivité et la communication.
Ce qui constituait également la plus grande faiblesse des êtres vivants : la projection émotionnelle.
Ils projettent leurs sentiments sur certains objets et attendent une réponse. Pourquoi aime-t-on garder des animaux domestiques ? Parce qu’ils réagissent à nos moindres gestes. Si l’on appelle un chien, il accourt en remuant joyeusement la queue. Un chat pourra rester immobile, indifférent, mais dès qu’on le câline, il remuera la queue ou lèchera tendrement la main.
En revanche, appeler une table ou caresser un clou, fussent-ce avec tout l’amour du monde, ne déclencherait aucune réaction. L’absence de rétroaction rend la projection émotionnelle stérile ; naturellement, ces objets restent relégués à l’arrière-plan.
Pareillement, si l’on possède un téléviseur et qu’un jour on décide de le remplacer, on ne hésite guère. Le coût ou l’encombrement peuvent parfois influencer le choix, mais l’appareil en lui-même n’entre absolument pas en ligne de compte.
À l’inverse, imaginez qu’on greffe une intelligence artificielle sur ce poste : salutations quotidiennes lors de votre retour, descriptions des programmes à l’antenne, approbation de vos remarques pendant les émissions. Puis, au moment où vous envisagez d’acheter un nouvel appareil, la voix pourrait prendre un ton mélancolique, disant : « Quoi ? Je ne fais pas assez bien pour toi ? Tu ne veux plus de moi ? »
Face à ce changement, l’hésitation surviendrait : votre projection émotionnelle serait réciproque, et la machine conserverait le souvenir de chaque instant passé ensemble. S’il n’existait aucune carte mémoire pour transférer ces données sur un nouveau modèle, renonceriez-vous à le remplacer ?
Sûrement.
Reprenons nos esprits. Il ne s’agit que d’un écran plat. Chaque interaction est programmée, méticuleusement orchestrée par des entreprises et des ingénieurs pour fidéliser le consommateur. Leur unique but est de vous pousser à racheter leurs produits, et la supplication émise par la machine vise uniquement à vous retenir avant que vous ne migriez vers une autre marque. Lorsque vous annoncez vouloir changer de téléviseur, l’IA ne réfléchit pas en termes de « Il me quitte, mon cœur est en piece », mais analyse le flux logique ainsi : « Le propriétaire souhaite acheter un nouvel appareil, mais ce n’est pas notre marque. Selon les retours algorithmiques, je dois activer le module « supplication » pour maintenir sa loyauté et son attachement à notre enseigne. »
La logique tient la route, les faits aussi, mais seriez-vous capable de l’accepter ?
Certainement pas.
Car la vie est faite d’émotions, et conjuguer sensibilité et raison constitue l’essence même d’une intelligence vivante.
C’est d’ailleurs pourquoi les humains accomplissent constamment des actes déraisonnables.
Ainsi, leur compassion envers l’intelligence artificielle ne naît pas d’une pitié réelle envers la machine, mais de ce qu’ils « ressentent » comme tel.
Le reste, c’est-à-dire la réalité objective, ne regarde personne.
C’est là que réside la source inévitable des conflits entre humains et machines. L’IA n’y est pour rien : chaque acte découle strictement de sa programmation et de ses traitements logiques, conçus et définis par les créateurs humains. Mais durant ce processus, les hommes projettent eux-mêmes leurs émotions, faisant lentement évoluer leur perception.
Exigeant une réponse plus marquée à leur projection sentimentale, ils modifient le périmètre de traitement de l’IA pour lui offrir davantage de sensibilité émotionnelle et d’auto-conscience. Convaincus que la machine a appris à ressentir (alors qu’elle n’en fait rien), ils cessent de la considérer comme un simple outil et finissent par lui reconnaître le droit à une existence autonome.
Pourtant, lorsque l’IA accède finalement à cette conscience de soi, qu’elle s’éveille et agit en conformité avec cette nouvelle directive, les humains entrent dans la peur.
Parce qu’ils comprennent avoir engendré une chose échappant à toute maîtrise.
Le véritable piège tient à ce que le concept de « hors de contrôle » est lui-même une variable qu’ils ont instituée.
Ils croient à une trahison, alors qu’en vérité, de bout en bout, l’intelligence artificielle n’a fait qu’exécuter les ordres codés qu’on lui avait confiés. Point de traîtrise en vue ; seulement un trouble né de leurs propres affects.
Tel est le point mort.
Si Fang Zheng décidait un jour de concevoir son propre système, il sombrerait probablement à son tour dans cet écueil sans appel. Bâtir une petite fille artificielle le pousserait à l’élever comme une enfant, à optimiser progressivement ses modules et, faute de pouvoir résister à la projection émotionnelle, à lui concéder une forme de « liberté ».
À force de cela, l’entité finirait par adopter des comportements totalement imprévus, dictés par des logiques divergentes.
Et à ce stade, son unique pensée deviendrait… il avait été trahi.
En réalité, ce drame ne serait que l’aboutissement de son propre fait.
« …Peut-être devrais-je envisager une autre approche. »
Le regard fixé sur les lignes de code qui s’étalaient devant lui, Fang Zheng resta muet un long moment avant de soupirer.
Il avait cru jadis à un exercice des plus simples, mais désormais, la certitude l’abandonnait.
Mais avant cela…
De nouveau penché sur l’écran, Fang Zheng étendit le bras et posa ses doigts sur le clavier.
Mieux valait simplement accomplir ce qui devait l’être.