Souvenez-vous, c’était en mai 2014 : le physicien Stephen Hawking et d’autres scientifiques publiaient une lettre d’avertissement sur le risque que les IA ne déciment l’humanité. Ils craignaient un scénario à la “Terminator”, un brin tiré par les cheveux.

Mais ce catastrophisme très hollywoodien teinté de millénarisme a finalement eu un effet bénéfique : un article coécrit par des chercheurs des universités de Berkeley, de Stanford, de Google (eh oui!) et de l’association internationale Open AI, expose enfin une réflexion sur les véritables risques de cette technologie. Là, ça devient constructif !

Cinq risques de l’IA classés en trois catégories

Dans l’article, dont on trouve un résumé (en anglais) sur le blog de Google, les auteurs listent cinq risques d’accidents, classés en trois catégories – sont exclus les accidents sociétaux et psychologiques (chômage, anthropocentrisme, confusion des sentiments, etc.) que l’IA/robotique produira et qui n’ont hélas pas de solution technique.

Ainsi, il y a les accidents liés à une mauvaise évaluation/programmation des objectifs d’un système IA par les concepteurs, les accidents liés à la saturation par les sollicitations des IA, et enfin les accidents liés aux comportements des IA mal ou insuffisamment “éduqués”.

En voici la liste, avec des exemples domestiques qui peuvent sembler anodins. Mais détrompez-vous, ils se généralisent aux IA de tout type : voiture autonome, robot-soldat, drones, etc. Et ils peuvent poser de vrais problèmes…

Mauvaise évaluation/Programmation des objectifs d’un système IA

Prenons un robot-nettoyeur (version futuriste) dont la “fonction objectif” est de minimiser la poussière et les saletés. S’il est (mal) programmé pour cela, rien ne l’empêcherait de jeter toutes vos babioles décoratives (dont un vase de Chine authentique) car cela rend le nettoyage plus rapide et efficace.

Ce risque, nommé par les auteurs “effets secondaires négatifs“, est loin d’être anodin car s’il s’agissait d’un robot-infirmier devant veiller au bon repos d’un malade, ce même défaut pourrait pourrait l’amener à lui injecter régulièrement des somnifères.

Imaginez maintenant que votre robot-nettoyeur ait été programmé avec l’objectif de ne pas voir, après son travail, des traces de poussière – ce qu’on fait en lui intégrant une fonction de “récompense” qui lui donne une note de réussite de sa mission. Il pourrait alors décider d’éteindre sa caméra, ce qui lui permettrait d’obtenir le meilleur score…

Ce risque, de “détournement de récompense“, pourrait amener une IA à altérer des informations ou d’autres systèmes informatiques afin de maximiser sa fonction de récompense.

Saturation des humains ou des systèmes par un trop plein de sollicitations

Que se passerait-il si votre robot-nettoyeur passe son temps à s’activer pour nettoyer la moindre poussière qui arrive sur le sol ? Et si le robot-infirmier n’arrête pas de demander au patient s’il a besoin de quelque chose ? Et si votre agent virtuel à qui vous avez demandé de vous trouver les billets d’avion les moins chers pour vos vacances vous réveille à 4H du matin pour vous dire qu’il a trouvé ?

Ce type d’”effet de saturation” fait courir un risque aux réseaux et peut également conduire les humains à rejeter ces assistants trop communicants.

IA mal éduqées

Les IA sont programmées pour explorer l’univers des solutions possibles à un problème et pour améliorer leur efficacité – sinon, ce ne seraient pas des systèmes intelligents. Cette fonction d’exploration est souvent lié techniquement à des générateurs de nombres aléatoires (ou pseudo-aléatoires), qui leur permettent donc de varier leurs comportements, au-delà de ce qu’ils ont appris lors de leur phase d’apprentissage.

Mais que se passerait-il si votre robot-nettoyeur, qui se sert d’eau pour astiquer les sols, s’en sert pour faire reluire votre ordinateur, téléviseur et chaine Hi-fi ? Ce risque d’”exploration catastrophique” pourrait également conduire une voiture autonome à se jeter dans l’eau pour tenter d’optimiser le temps et la distance de parcours entre les deux rives du fleuve de votre ville…

Et quid des “situations totalement inconnues” ? Nous, les humains, avons la possibilité intellectuelle d’admettre notre ignorance et ne pas tenter, par exemple, de piloter un semi-remorque ou un avion – même si cela pourrait résoudre un problème. Mais qu’arriverait-il à notre nouveau poisson rouge ou chien, chat, perroquet si le robot-nettoyeur en voyait pour la première fois? Un drame, assurément.

Des solutions techniques

Bien évidemment, les auteurs ne se contentent d’une analyse qualitative. Leur article, basé sur les recherches en pointe en IA, esquisse des solutions techniques qui sont autant de voies de recherche à approfondir. Finalement, il s’agit d’une “feuille de route” pour les années à venir.

Sciences & Vie – Román Ikonicoff