Le ministère des Armées met en avant deux solutions pour sécuriser ses algorithmes d’intelligence artificielle
Quelle que soit sa catégorie [descriptive, prédictive, prescriptive ou générative], une intelligence artificielle [IA] doit être « nourrie » avec des données fiables pour être digne de confiance, et donc efficace.
Une fausse information dans un tel système d’IA pouvant être utiliser pour accélérer la prise de décision d’un poste de commandement, par exemple, pourrait avoir des conséquences fâcheuses.
D’où la nécessité de développer des solutions afin de garantir l’intégrité des systèmes militaires ayant recours à l’intelligence artificielle.
À cette fin, l’Agence de l’innovation de défense [AID] et le Commandement de la cyberdéfense [COMCYBER] ont organisé le défi « Sécurisation de l’IA », avec l’objectif de solliciter les entreprises et les laboratoires de recherche susceptibles de proposer des technologies permettant de protéger des systèmes incluant une intellitgence artificielle et de détecter des attaques pouvant affecter leur bon fonctionnement.
Visant à « assurer l’intégrité des systèmes tout au long de leur vie opérationnelle », ce défi a intéressé une dizaines de structures spécialisées [laboratoire, entreprises innovantes, grands groupes, etc.] Et, a fait savoir le ministère des Armées, le 30 avril, deux ont été primées par un jury comprenant des représentants du COMCYBER, de l’AID, de l’Agence ministérielle pour l’intelligence artificielle de défense [AMIAD] et de la Direction générale de l’armement [DGA].
Ainsi, proposée par PRISM EVAL, la suite BET EVAL permet de sécuriser ce que l’on appelle les LLMs [large language models ou « modèle massif de langage »], c’est-à -dire des réseaux de « neurones profonds » fonctionnant par apprentissage auto ou semi supervisé. Ils sont notamment utilisés pour les agents conversationnels, et donc par l’IA générative.
Dans le détail, BET Eval a été conçue pour « tester la robustesse des LLMs, en s’appuyant sur une approche innovante à base de combinaison de primitives comportementales d’attaques, qui permet d’adresser un large panel d’attaques », explique le ministère des Armées. Les essais de cette suite ont porté sur la génération de contenus malveillants et/ou dangereux, l’extraction non autorisée de données et le « contournement » des garde-fous.
Mise au point par CEA-List [du Commissariat à l’Énergie Atomique et aux Énergies Alternatives], la seconde solution lauréate de ce défi permet de contrer les attaques visant à corrompre des données afin d’induire en erreur une intelligence artificielle. Elle repose sur deux outils.
Le premier, appelé PyRAT, « assure une vérification formelle de la sécurité d’un réseau de neurones apportant des garanties mathématiques fortes, pour se prémunir de modifications imperceptibles des données par l’attaquant », précise le ministère. Quant au second, baptisé PARTICUL, il détecte « les parties récurrentes d’un ensemble de données pour calculer un score de confiance sur de nouvelles données, et permet de se prémunir de modifications plus visibles tels que l’ajout de patchs ».
Je suis complètement dépassé….
Vous n’êtes pas le seul…
Faites comme moi, considérez humblement et simplement qu’il s’agit de la mise en place de dispositifs pointus pour sécuriser les applications militaires de l’IA.
Pour tenter de concourir à la compréhension :
1. Les « LLMs » sont des systèmes d’IA, comme GPT-4, et il est possible d’entraver le raisonnement de cette IA en introduisant de fausses données, vers, etc…
2. « BET » (pour BET Eval), en médecine c’est l’analyse des erreurs cliniques…
3. « PyRAT » et « PARTICUL » sont des capacités d’analyses pour définir un taux de confiance dans les systèmes, comme le CEA le fait en matière de recherche nucléaire.
Pour enseigner à une IA ce qu’est un chat, on lui montre 10.000 chats dans toutes les positions et postures possibles. Elle sait « statistiquement » ce qui est un chat de ce qui n’est pas un chat. Maintenant, si dans le lot de 10.000, on fourre 300 renards en lui racontant qu’il faut les identifier sous le même nom, elle a de bonnes chances de confondre un chat avec un renard. Elle procède de la même façon pour ‘apprendre’ qu’un ‘a’ est un ‘A’ mais pas un ‘α’, avec des milliers de graphies possibles. L’idée est de s’assurer que les données d’apprentissages sont toujours correcte, ce qui pose rapidement un problème lorsqu’on parle en milliers de documents pour une seule interprétation. Si la guerre de demain reposait sur ces données, ce sont elles que je modifierai pour qu’une IA confonde mes chars d’assaut avec de gentils matous, et les signatures de missiles avec des avions de ligne.
Nous dirions même plus : ce sont elles que je modifierais pour qu’une IA confonde mes chats d’assaut avec de gentils toutous.
imaginez par exemple que des russes s’introduisent dans les banques d’images video qui servent à entrainer les systèmes basés sur l’IA, et qu’ils renomment une partie des métadonnées liées aux images disant que finalement un T90 s’appelle M1A2, alors sur le champ de bataille les systèmes risquent de donner l’info qu’en face ce ne sont plus des T90 russes mais des chars américains.
Les attaques informatiques sont très compliquée à percevoir au milieu d’un champ sans doute énorme d’accès autorisés. Les solutions sont d’utiliser l’IA qui est plus à même de détecter les usages qui semblent sortir de l’ordinaire des usages
Rien que sur le champ de bataille, l’algorithme peut dériver, ou les comportements Russes peuvent le tromper. Exemple: faux marquage, marquage invisible, tir volontaire vers ses lignes, etc, etc, etc…
Utilisation de l’armement de l’ennemi, attaque d’une position ennemie à revers, marquage amis éteint… On a du mal à imaginer à quel point les scénarios sont complexes et l’authentification aléatoire.
Sans même aller sur le champ de bataille l’algorithme peut dériver, avec du auto ML en force brute.
C’est un peu comme pour les journalistes d’investigation : apprendre à vérifier ses sources.
Les pros vont vérifier la qualité de leurs sources d’informations et les croiser, les mauvais vont se contenter de « 40 personnes disent la même chose, donc ça doit être vrai. » même si les 40 personnes sont ignorantes du sujet.
On peut donc altérer une IA en corrompant les données qui alimentent son auto-apprentissage, ou en lui fournissant des sources biaisées.
Donc les Armées occidentales pourront ainsi battre des groupes de terroristes se déplaçant sur des mobylettes et pickup, armés de mitrailleuses et lance-grenades.
Et ça bave, et ça coule, et ça dégouline…
Vous faites sans doute partie de ces gens qui quoi que l’on fasse, critiqueront toujours, et toujours avec aussi peu d’arguments pertinents.
Je crois que les IA arriveront a identifier les unités de motards russes comme hostile.
Mais c est vrai que les groupes terroristes sont souvent mieux armés et donc plus faciles a différencier des civils.
Par contre, il va etre dur d entrainer une IA a distinguer un pere de famille promenant son enfant d un soldat russe réapprovisionnant le front avec une poussette. Il y a des choses que l humain comprend immédiatement, mais que les IA ont du mal a apprendre (car justement, elles ne comprennent pas. Elle ne font que comparer.).
@Bastan Cela vous a certainement « échappé » mais une armée doit être capable de lutter contre n’importe quelle type de menaçes y compris celle du type « mollah Omar » sur sa mobylette mais aussi une armée beaucoup plus…………………….technologique!
Et la PARTITÊTE ? Pas encore sortie de Saumur ?
La virtualisation des logiciels, c’est dans l’ère du temps, mais un drone qui supporterais une attaque électronique c’est mieux. Ça ouvrirais la recherche sur les boucliers magnétique pour le moment faudra qu’on se contente du back-out et des bougies et de la prière pour survivre à l’effacement.
« L’ère du temps », ça paraît logique, mais c’est « l’air du temps ».
bonjour, bon déjà s’ils pouvaient y avoir un moyen automatique d’alerte sur la présence de fantassins au plus prêt des blindés de jour où de nuit, me semblerait importants… ( sa existe déjà ).
ensuite une fonction de déplacement automatique en Convois, car les déplacements sont parfois très long et peux reposant..( UE a travaillé sur un projet automobile sur autoroute).
nous avons pris beaucoup de retards sur ces développements….
Scorpion inclu la généralisation des caméras périmétriques en plus de l optronique du tourelleau.
Et le tourelleau peut etre pointé automatiquement sur détection d un mouvement.
Scorpion inclut la généralisation.
Bonsoir,
(Ça existe déjà ).
Près de.
Au plus près de.
Un drone qui supporterait.
Ça ouvrirait la recherche.
S’il pouvait.
Les déplacements sont parfois très longs et PEU reposants.
La chaîne est assez simple: collecte des informations terrain via différents capteurs, qui communiquent sur ce qu’ils perçoivent et sur leur état, inventaire des équipements déployés et leurs statuts, mise en commun de ces données dans un (ou plusieurs) entrepôt de données, analysé par des opérateurs ou par des algorithmes de ML (brute force ou bayesian), recommandation d’action (validation humaine de l’analyse) ou ordre de tir direct.
Cette chaîne ne fonctionne que si l’inventaire est exact (élément déployé, localisation des éléments, pas de perturbations dans les communications), et que l’analyse (via réseaux de neurones et LLM) n’est pas perturbée par des biais, introduits par les opérateurs, la auto machine learning ou par l’ennemi. Le choix des analyses faites par les d’algorithmes de auto ml est décidé par la machine. Leur séquencement aussi. Donc il peut être utile: 1/ de dire quels analyses sont faites et dans quel ordre (Bet eval), 2/ de ne pas laisser dériver les facteurs de pondération de l’analyse hors de certains paramètres (pyrat). Il est en effet tentant pour l’ennemis de modifier les facteurs de pondération par la ruse pour inciter à du tir sur des alliés.
Des gardes fou doivent exister dans le système pour s’en prémunir, mais l’ennemi va chercher à sortir de ces paramètres. Ça peut aussi planter tout seul. Je pense que c’est ça qu’ils cherchent à éviter.
Ce que fait l’armée a des spécificités, mais la chaîne est à peut prêt la même dans la conception de tous les systèmes basés sur l’IA pour accélérer le processus décisionnel. J’imagine qu’ils veulent aller vers un modèle guidé par les intentions du commandement et leur déclinaison en ordres opérationnels. Ce n’est pas simple à mettre en œuvre. 2035 me paraît plutôt réaliste vu le rythme des progrès en auto ML.
Un gros goulet d’étranglement doit subsister sur la mise en commun des données remontées. Un équipement MBDA aura probablement un encodage et des types de messages différents de ceux de Dassault, Safran, Ariane ou KNDS. Ce serait même normal. Donc faire communiquer l’ensemble de ces équipements, comprendre leur langue, les types de messages qu’ils émettent, voir plus encore, le comprendre dans un système avec des alliés, sera éminemment complexe. D’autant plus que les équipements ne sont pas tous de même générations. On peut imaginer que les capteurs d’un Jaguar sont plus modernes que ceux d’un AMX10 RC. Il y a des méthodes pour gérer ces sujets. Je suis certain que nos armées sont bien renseignées pour les traiter.
La question est de savoir quels sont les domaines qui doivent communiquer entre eux et sur quelle profondeur (armée de l’air, de terre, marine, spatial, cette segmentation est-elle pertinente?). Qu’est ce qu’il est pertinent de partager et pour quoi faire… les boucles d’action dans un domaine pourrait êtres très très courtes. En inter domaine, l’architecture serait aussi amusante.
Un garde-fou, des garde-fous.
Merci, très éclairant.
La chaîne est à PEU près la même.
L’adverbe « voire » permet de dire « et même » (c’est sa principale signification) mais le verbe « voir » est inadapté pour ce faire.
Comprendre leur langue, les types de messages qu’ils émettent, voire plus encore, le comprendre dans un système avec des allié.
À peu près.
À un cheveu près.
À peu de chose près.
Le coup passa si près que le chapeau tomba.*
Près : proche.
Prêt : préparé, disposé.
° ° ° ° ° ° ° ° ° ° ° ° ° °
* Victor Hugo
https://www.poetica.fr/poeme-191/victor-hugo-apres-la-bataille/
Les boucles d’action pourraient être.
Et pendant ces puissantes réflexions, les soldats meurent ou sont déchiquetés ou brulés dans les tranchées, et les civils meurent ou sont déchiquetés ou brulés sous les bombes et les missiles …
T.O.C., T.O.C., T.O.C.T.O.C.!
C’est certain que ce n’est pas vous qui êtes choqué par ces tueries ! Pour vous ce n’est que normal : que voulez vous ? C’est la guerre …
TOC – TOC TOC – TOC TOC TOC (mais ce n’est pas de vous)
ils ont interet a faire gaff a qui code sinon ca risque d’etre arc en ciel tout ca 🙂
Vincent Lagaf’.
Ronan Le Goff.
Gaston Lagaffe.
Faire gaffe.
C’est sûr que si c’est un gars comme vous qui code, ça ne va pas bien se passer.
Que c’est………………….profond!