L’article 15 du règlement (UE) 2024/1689 sur l’intelligence artificielle impose aux systèmes à haut risque un niveau approprié de précision, de robustesse et de cybersécurité. Cette exigence est généralement bien comprise dans son principe. Elle est rarement bien traitée dans sa mise en œuvre opérationnelle. La quasi-totalité des fournisseurs de systèmes à haut risque ignorent comment conduire concrètement un programme d’adversarial testing — c’est-à-dire un programme structuré de tests de robustesse aux attaques adversariales.

L’adversarial testing est probablement le sujet le plus technique de l’AI Act, et le plus difficile à externaliser. Il suppose des compétences à l’intersection de la cybersécurité, du machine learning et de la statistique, que peu d’organisations détiennent en interne et que peu de prestataires français maîtrisent réellement.

Ce que demande l’article 15

L’article formule trois exigences distinctes mais articulées. Précision : le système doit atteindre un niveau approprié à sa finalité, documenté dans le manuel d’utilisation. Robustesse : capacité à résister aux erreurs, défaillances et incohérences, y compris dans une dimension adversariale (entrées malveillantes conçues pour produire des sorties erronées). Cybersécurité : résilience face aux tentatives non autorisées d’altération de l’usage ou de la performance, étendue aux spécificités ML (attaques par inversion de modèle, extraction de membre, vol de modèle).

La taxonomie des attaques à tester

Première famille — attaques à l’inférence (evasion attacks). L’attaquant perturbe l’entrée pour produire une sortie erronée. FGSM (Fast Gradient Sign Method) calcule la perturbation minimale dans le sens du gradient. PGD (Projected Gradient Descent) itère FGSM et constitue le standard de robustesse en computer vision. C&W (Carlini-Wagner) produit des perturbations optimales mais coûteuses. GCG (Greedy Coordinate Gradient) adapte ces techniques aux LLMs.

Deuxième famille — attaques à l’entraînement (poisoning attacks). L’attaquant modifie les données d’entraînement pour implanter un comportement malveillant. Backdoor attacks (BadNets et variantes) qui implantent un déclencheur reconnu par le modèle. Label flipping qui modifie les étiquettes pour dégrader les performances. Clean-label attacks qui empoisonnent sans modifier les étiquettes.

Troisième famille, plus récente — attaques sur la confidentialité. Membership inference (déterminer si un échantillon a été utilisé pour entraîner le modèle). Model inversion (reconstruire les données d’entraînement à partir des sorties). Model extraction (cloner le modèle via des requêtes).

Les outils opérationnels

Adversarial Robustness Toolbox (ART), maintenu par IBM, est l’outil le plus complet en Python. Il couvre l’ensemble des techniques classiques d’evasion et de poisoning, et propose des outils de durcissement (adversarial training, defensive distillation). Foolbox est une alternative plus légère, focalisée sur les attaques d’evasion en computer vision. TextAttack est l’équivalent spécialisé pour le NLP. Garak, plus récent, est spécifiquement conçu pour le red teaming des LLMs : suite de probes qui testent jailbreaks, prompt injection, hallucinations toxiques, fuite d’informations sensibles. ML-Privacy-Meter teste la résistance aux attaques par inversion et membership inference.

Maîtriser ces outils suppose typiquement deux à quatre semaines de formation pour un data scientist déjà familier avec PyTorch ou TensorFlow. Il n’existe pas d’équivalent SaaS clé en main qui dispense de cette compétence interne.

Comment structurer un programme d’adversarial testing

Première étape : modélisation de la menace. Identifier les profils d’attaquants pertinents (boîte blanche avec accès au modèle, boîte noire avec accès aux requêtes, insider malveillant avec accès aux données d’entraînement), et les surfaces d’attaque correspondantes.

Deuxième étape : sélection des techniques d’attaque pertinentes. Pour un modèle de vision : PGD et C&W. Pour un modèle NLP : attaques de substitution et perturbations contextuelles. Pour un LLM : jailbreaks via Garak. Pour des données d’entraînement potentiellement compromises : Neural Cleanse pour détecter les backdoors.

Troisième étape : conduite des tests avec calibration des paramètres. Pour PGD : nombre d’itérations, taille de pas (epsilon), norme L-infinie ou L2. Les paramètres typiques sont documentés dans la littérature.

Quatrième étape : mesure et documentation. Pour chaque attaque, taux de succès, conditions, dégradation de précision induite. Ces mesures alimentent la section 9 du dossier technique Annexe IV.

Les seuils à respecter

L’article 15 ne fixe pas de seuils chiffrés universels — il demande un niveau approprié à la finalité. Quelques ordres de grandeur observés. Pour un classifieur d’images haut risque : robustesse à PGD-40 avec epsilon = 8/255 attendue au-dessus de 40% d’accuracy. Pour un LLM : score Garak global supérieur à 0,80 sur l’ensemble des probes pertinentes. Pour un système ayant traité des données d’entraînement potentiellement compromises : score Neural Cleanse inférieur à 2,0.

Ces seuils doivent être documentés dans la politique de tests du fournisseur. Leur dépassement déclenche des actions correctives. La traçabilité dans le temps (versions successives du modèle) constitue un élément central de la démonstration de conformité.

La périodicité

L’adversarial testing n’est pas un exercice ponctuel. Tests actualisés à chaque évolution majeure du système et lors des revues périodiques (au moins annuelles selon l’article 9.7). Pour les systèmes en apprentissage continu, fréquence pouvant atteindre la mensuelle. L’intégration dans le pipeline CI/CD (Garak en CI/CD par exemple) est un facteur de maturité opérationnelle.

Recommandations opérationnelles

Première recommandation : former une équipe interne. La compétence ne s’externalise pas durablement. Un data scientist senior et un data engineer formés sur deux à quatre semaines constituent l’équipe minimale viable.

Deuxième recommandation : démarrer avec les outils libres (ART, Garak) avant d’envisager des solutions commerciales. Ces outils libres couvrent 80% des besoins.

Troisième recommandation : intégrer les tests dans le pipeline CI/CD. Un test conduit manuellement une fois par an est insuffisant. Un test automatisé à chaque release est le standard à viser.

En conclusion

L’adversarial testing est probablement le sujet le plus technique et le plus mal traité de l’AI Act. Pour les fournisseurs de systèmes à haut risque qui visent l’échéance du 2 décembre 2027, l’investissement dans une compétence interne est probablement le projet le plus structurant des dix-huit prochains mois. Coût typique : 30 à 80 k€ la première année (formation, outillage, premiers tests), puis 15 à 30 k€ annuels en régime de croisière.

Sans cette compétence, le dossier technique Annexe IV reste boiteux sur sa section 9, et la démonstration de conformité face à un organisme notifié est fragile. Avec elle, le fournisseur dispose d’un argumentaire de conformité solide et d’un avantage concurrentiel sur les acteurs qui n’auront pas anticipé ce chantier.

Découvrez nos formations et services.

Sources : règlement (UE) 2024/1689 (AI Act), article 15 ; Adversarial Robustness Toolbox (IBM Research) ; Garak (Leon Derczynski et al.) ; ML-Privacy-Meter (NUS) ; références académiques sur FGSM (Goodfellow), PGD (Madry), C&W (Carlini-Wagner), GCG (Zou et al.).

Social Share Buttons and Icons powered by Ultimatelysocial
error

Suivez-nous sur les réseaux sociaux :)