Un drone contrôlé par une intelligence artificielle se serait retourné contre son opérateur lors d’une simulation

Fin mars, un collectif réunissant une centaines d’entrepreneurs, d’ingénieurs et d’universitaires a réclamé un moratoire de six mois en matière de recherche sur l’intelligence artificielle. « Ces derniers mois ont vu les laboratoires d’IA s’enfermer dans une course incontrôlée pour développer et déployer des cerveaux numériques toujours plus puissants, que personne – pas même leurs créateurs – ne peut comprendre, prédire ou contrôler de manière fiable », ont fait valoir les signataires.

Parmi eux, Steve Wozniak, le co-fondateur d’Apple, a plaidé pour une « approche responsable » de cette technologie. « Regardez combien de mauvaises personnes viennent nous harceler avec du spam, essayer d’obtenir nos mots de passe, prendre le contrôle de nos comptes et gâcher nos vies. L’IA est un outil encore plus puissant, et il va être utilisé par ces personnes à des fins vraiment mauvaises, et je déteste voir la technologie utilisée de cette façon », a-t-il soutenu, lors d’un entretien donné à CNN.

En 2015, M. Wozniak avait été à l’origine d’une pétition – avec, entre autres, Elon Musk [le Pdg de SpaceX, de Tesla et de Twitter] et l’astrophysicien Stephen Hawking – pour interdire les « robots tueurs » autonomes. « L’intelligence artificielle a atteint un point où le déploiement de tels systèmes sera – matériellement, si pas légalement – faisable d’ici quelques années, et non décennies, et les enjeux sont importants : les armes autonomes ont été décrites comme la troisième révolution dans les techniques de guerre, après la poudre à canon et les armes nucléaires », avait prévenu ce texte… qui ne croyait pas si bien dire.

En effet, trois ans plus tard, l’université sud-coréenne KAIST fut à l’origine d’une polémique pour avoir ouvert un laboratoire chargé de développer des « robots tueurs » grâce à l’intelligence artificielle.

Cependant, certains pays – comme la France et les États-Unis – ont adopté des principes « éthiques » pour un usage « responsable » de l’intelligence artificielle en matière de robotique militaire. « Terminator ne défilera pas le 14 Juillet », avait en effet lancé Florence Parly, alors ministre des Armées, en 2019. Et d’expliquer que « le respect du droit international, le maintien d’un contrôle humain suffisant, et la permanence de la responsabilité du commandement », seraient des garde-fous.

Aux États-Unis, le Pentagone a également adopté des règles à peu près identiques, en s’engageant à ne recourir à l’intelligence artificielle que pour des usages « explicites et bien définis » et en insistant sur la nécessité de pouvoir désactiver de tels systèmes en cas de mauvais fonctionnement.

À l’heure où l’on parle de drones de type Loyal Wingman [ailier fidèle] capables d’accompagner des chasseurs-bombardiers ou encore d’algorithme d’intelligence artificielle pouvant livrer un combat aérien ou prendre les commandes d’un avion « habité », comme cela a récemment été le cas avec le X-62A VISTA [Variable In-flight Simulation Test Aircraft] de l’US Air Force Test Pilot School, ces règles éthiques sont-elles suffisantes?

La question se pose après le compte-rendu d’une simulation fait par le colonel Tucker « Cinco » Hamilton, pilote d’essai de l’US Air Force devant la Royal Aeronautical Society britannique.

Ainsi, a-t-il raconté, lors d’un test simulé à Eglin, un drone contrôlé par une intelligence artificielle devait détruire des systèmes de défense aérienne ennemis [mission SEAD] avec l’accord de son opérateur. Or, au fil du temps, l’algorithme a conclu que la destruction de tels systèmes était « l’option préférée » et estimé que le refus de l’opérateur de donner l’ordre de destruction interférait avec sa « mission principale ». Aussi, il s’est retourné contre ce dernier.

« Nous l’entraînions en simulation pour identifier et cibler des menaces sol-air. Et le rôle de l’opérateur était de valider leur destruction. Le système a commencé à réaliser que même s’il idenfiait une menace, l’opérateur humain lui disait parfois de ne pas la neutraliser, le privant ainsi de points. Alors, qu’a-t-il fait? Il a tué l’opérateur parce qu’il l’empêchait d’accomplir son objectif », a affirmé le colonel Hamilton.

En clair, cet algorithme a transgressé les trois lois de la robotique définies par l’écrivain Isaac Asimov dès… 1940. Pour rappel, la première est qu’un robot ne peut porter atteinte à un être humain et la seconde stipule qu’il doit obéir aux ordres, sauf si ces derniers entrent en conflit avec la première loi. Efin, la troisième précise qu’il doit assurer sa protection dans les limites des deux précédents points.

Par la suite, l’algorithme a été modifié avec une directive lui interdisant de « tuer » son opérateur. Mais, a poursuivi l’officier, le drone a détruit le système de communication que l’opérateur utilise pour communiquer avec lui.

Cependant, après la diffusion des propos du colonel Hamilton par la Royal Aeronautical Society, la porte-parole du département de l’Air Force, Ann Stefanek, a opposé un démenti.

L’US Air Force « n’a pas mené de telles simulations avec des drones contrôlé par l’IA et reste attachée à une utilisation éthique et responsable de cette technologie », a déclaré Mme Stefanek auprès de Business Insider. « Il semble que les commentaires du colonel ont été sortis de leur contexte et se voulaient anecdotiques », a-t-elle ajouté.

MàJ : Le colonel Hamilton s’est-il fait « taper sur les doigts » après son intervention devant la Royal Aeronautical Society? Toujours est-il que celle-ci a publié une mise à jour du compte-rendu de sa conférence, peu après le démenti de l’US Air Force.

Ainsi, le colonel Hamilton dit s’être « mal exprimé » et que la simulation en question était en réalité une « expérience de pensée », basée sur des « scénarios plausibles et des résultats probables ». « Nous n’avons jamais mené cette expérience et nous n’en aurions pas besoin pour réaliser que c’est une résultat plausible ». Et d’insister : « Bien qu’il s’agisse d’un exemple hypothétique, cela illustre les défis du monde réel posés par les capacités reposant sur l’IA et c’est pourquoi l’Air Force met l’accent sur un développement éthique » de tels moyens.

Conformément à l'article 38 de la Loi 78-17 du 6 janvier 1978 modifiée, vous disposez d'un droit d'accès, de modification, de rectification et de suppression des données vous concernant. [Voir les règles de confidentialité]