Article 15 règlement IA : exactitude, robustesse et cybersécurité
L’article 15 exige des systèmes d’IA à haut risque une exactitude, une robustesse et une cybersécurité appropriées. Ce guide couvre les exigences et les moyens courants de les tester.
Les fournisseurs de systèmes d’IA à haut risque doivent les concevoir pour atteindre un niveau approprié d’exactitude, de robustesse et de cybersécurité (article 15).
Ce niveau doit être maintenu pendant tout le cycle de vie. Les fournisseurs doivent indiquer les niveaux et indicateurs d’exactitude dans la notice d’utilisation (article 15(3)). Cela vise les systèmes mis sur le marché ou mis en service dans l’UE. Cela s’applique à partir du 2 décembre 2027 (annexe III) et du 2 août 2028 (annexe I). Les amendes peuvent atteindre 15 millions d’EUR ou 3 % du chiffre d’affaires annuel mondial, le montant le plus élevé étant retenu (article 99(4)). Prochaine étape : choisissez vos indicateurs d’exactitude et testez-les.
L’article 15 en cinq points
L’article 15(1) exige un niveau approprié d’exactitude, de robustesse et de cybersécurité, et un fonctionnement constant tout au long du cycle de vie. Les cinq points ci-dessous regroupent les paragraphes 3 à 5. Le règlement fixe des objectifs, pas de méthodes de test ni de seuils. La Commission encourage l’élaboration de critères de référence et de méthodes de mesure avec les autorités de métrologie et d’étalonnage des performances (article 15(2)).
Niveaux et indicateurs d’exactitude déclarés
Indiquez les niveaux d’exactitude et les indicateurs d’exactitude pertinents dans la notice d’utilisation (article 15(3)).
Résilience aux erreurs et aux défaillances
Rendez le système aussi résilient que possible face aux erreurs, défaillances ou incohérences du système ou de son environnement, y compris lors de son interaction avec des personnes ou d’autres systèmes. Prenez des mesures techniques et organisationnelles ; une redondance technique, comme des plans de sauvegarde ou des mesures de sécurité après défaillance, peut garantir la robustesse (article 15(4)).
Maîtrise des boucles de rétroaction
Si le système continue d’apprendre après sa mise sur le marché ou sa mise en service, éliminez ou réduisez autant que possible le risque que des sorties biaisées influencent les entrées futures (boucles de rétroaction). Traitez ces boucles par des mesures d’atténuation (article 15(4)).
Résistance aux tiers non autorisés
Le système doit résister aux tentatives de tiers non autorisés de modifier son utilisation, ses sorties ou sa performance en exploitant ses vulnérabilités. Les solutions de cybersécurité doivent être adaptées aux circonstances et aux risques (article 15(5)).
Mesures contre les attaques propres à l’IA
Prévoyez, au besoin, des mesures pour prévenir, détecter, contrer, résoudre et maîtriser les attaques et défauts que l’article 15(5) énumère. Ce sont l’empoisonnement des données (données d’entraînement manipulées), l’empoisonnement de modèle (composants préentraînés manipulés), les exemples contradictoires ou l’invasion de modèle (entrées conçues pour provoquer des erreurs), les attaques visant la confidentialité et les défauts du modèle.
Quatre étapes d’ingénierie qui soutiennent l’article 15
L’article 15 ne prescrit aucune méthode de test. Ces étapes sont des moyens courants de montrer que les exigences sont remplies.
Tests contradictoires en CI
Exécutez des tests de robustesse contradictoires dans votre pipeline CI/CD : générez des exemples contradictoires, testez les limites du modèle et vérifiez les défenses contre des schémas d’attaque connus.
Évaluation comparative de l’exactitude
Mesurez l’exactitude avec les indicateurs que vous avez déclarés, pour chaque version du modèle, chaque jeu de données et chaque environnement de déploiement, afin de détecter toute dégradation.
Redondance et conception à sécurité intégrée
Prévoyez des solutions de repli pour les chemins critiques : modèles de secours, moniteurs de sécurité et passage à une personne lorsque la confiance tombe sous un seuil que vous fixez.
Sécurité de la chaîne d’approvisionnement du modèle
Analysez les dépendances et les modèles de base pour y repérer des vulnérabilités, et vérifiez la provenance des modèles externes et l’intégrité des pipelines d’entraînement.
La notice d’utilisation indique le niveau testé et le niveau attendu
La notice d’utilisation doit indiquer le niveau d’exactitude, de robustesse et de cybersécurité sur lequel le système a été testé et validé et qui peut être attendu. Elle doit aussi indiquer les circonstances connues susceptibles de l’influencer (article 13(3), point b), ii)). Conservez les résultats de test qui étayent chaque niveau déclaré.
L’article 15 ne s’applique qu’aux systèmes d’IA à haut risque
Un système est à haut risque s’il relève d’un domaine de l’annexe III, sauf si une exemption de l’article 6(3) s’applique. Un système qui effectue du profilage de personnes physiques est toujours à haut risque. Il l’est aussi s’il est un produit de l’annexe I exigeant une évaluation de la conformité par un tiers, ou son composant de sécurité (article 6). Les fournisseurs sont couverts lorsqu’ils mettent un système sur le marché de l’UE ou le mettent en service dans l’UE, où qu’ils soient établis (article 2(1), point a)). Les fournisseurs et déployeurs établis dans un pays tiers sont aussi couverts lorsque les sorties du système sont utilisées dans l’UE (article 2(1), point c)). Les systèmes à haut risque liés à des produits relevant des législations de l’annexe I, section B, sont exclus de l’article 15 (article 2(2)). Pour les produits de l’annexe I, section A, certaines exigences peuvent être limitées (article 2(13)). Cela concerne les articles 9 à 15 et 17 à 25, lorsque la législation sectorielle offre un niveau de protection équivalent ou supérieur. Des actes délégués attendus d’ici le 2 août 2027 préciseront lesquelles. Le règlement exclut les usages militaires, de défense et de sécurité nationale, ainsi que les systèmes développés uniquement pour la recherche scientifique (article 2(3) et (6)). Il exclut aussi la recherche et les essais avant la mise sur le marché (article 2(8)). Les systèmes déjà mis sur le marché ou en service avant la date d’application ne sont couverts qu’après des modifications substantielles de leur conception. En tout état de cause, les fournisseurs et les déployeurs de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques doivent prendre les mesures nécessaires pour se conformer au plus tard le 2 août 2030 (article 111(2)).
Questions fréquentes : seuils, tests, certification et amendes
Quel seuil d’exactitude est « approprié » ?
Le règlement ne donne aucun chiffre et ne dit pas quel niveau est approprié pour quel usage. Il exige un niveau approprié, indiqué avec ses indicateurs dans la notice d’utilisation (article 15(1) et (3)). Indiquez l’indicateur que vous utilisez et le résultat que vous avez mesuré.
Faut-il un exercice formel de red teaming ?
Non. L’article 15 ne nomme aucune méthode de test. L’article 15(5) exige des mesures contre des attaques telles que l’empoisonnement des données et les exemples contradictoires, et les tests contradictoires sont un moyen de montrer que ces mesures fonctionnent.
Comment teste-t-on la robustesse en pratique ?
Les méthodes courantes sont l’injection de fautes, la génération d’exemples contradictoires, les tests aux limites et les scénarios de dégradation. Elles utilisent des entrées corrompues, des changements de distribution et des cas limites. L’article 15 n’en nomme aucune. Choisissez des méthodes adaptées aux risques que vous avez relevés au titre de l’article 9.
Les certificats ou lois de cybersécurité existants couvrent-ils l’article 15 ?
Seulement dans deux cas précis. Un système est présumé conforme aux exigences de cybersécurité de l’article 15 (article 42(2)). Il faut qu’il soit certifié au titre d’un schéma de cybersécurité du règlement (UE) 2019/881, ou qu’une déclaration de conformité ait été délivrée. Cela vaut si les références du schéma sont publiées au Journal officiel, et seulement dans la mesure où le certificat ou la déclaration les couvre. Les systèmes relevant du règlement sur la cyberrésilience (règlement (UE) 2024/2847) qui remplissent les conditions de son article 12(1) sont réputés conformes (article 42(3)). Les deux ne concernent que la cybersécurité, pas l’exactitude ni la robustesse.
Quelle documentation est attendue pour l’exactitude et la robustesse ?
Indiquez les niveaux et indicateurs d’exactitude dans la notice d’utilisation (article 15(3)). La documentation technique doit aussi décrire les procédures de validation et de test, ainsi que les indicateurs d’exactitude et de robustesse. Elle contient aussi les rapports de test et les mesures de cybersécurité (annexe IV, point 2 g) et h)).
Quelles sont les amendes, et le plafond est-il plus bas pour les PME ?
Les amendes atteignent jusqu’à 15 millions d’EUR ou 3 % du chiffre d’affaires annuel mondial, le montant le plus élevé étant retenu (article 99(4)). Elles visent les fournisseurs (article 16) et les déployeurs (article 26). Pour les PME, y compris les jeunes pousses, et les petites ETI, le plafond est le plus faible des deux montants (article 99(6) et (6 bis)). Le règlement les appelle « petites entreprises à moyenne capitalisation ». Les États membres fixent les règles relatives aux sanctions (article 99(1)).
À lire ensuite : le lien entre l’article 15 et les articles 9, 10, 11 et 13
Article 9 : gestion des risques
Choisissez des méthodes de test adaptées aux risques que vous relevez dans le système de gestion des risques.
Article 10 : données et gouvernance des données
L’article 10 fixe des règles de qualité pour les données d’entraînement, de validation et de test.
Article 11 : documentation technique
La documentation technique consigne les procédures de validation et de test, les indicateurs d’exactitude et les mesures de cybersécurité (annexe IV).
Article 13 : transparence
La notice d’utilisation doit indiquer les niveaux déclarés d’exactitude, de robustesse et de cybersécurité.
Scanara prépare des preuves à partir de vos dépôts
Scanara lit vos dépôts GitHub connectés et exécute des analyses à base de règles pour repérer les schémas courants d'IA et d'apprentissage automatique. Il peut manquer du code non standard. Par ailleurs, il génère des projets de documentation à partir de modèles et de vos réponses aux évaluations, comme preuves pour votre travail de conformité. Vous décidez de la classification.