Article 14, contrôle humain pour l'IA des autorités répressives : règlement IA

art. 14, par. 2, art. 14, par. 3

Objectif et deux types de mesures

Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsque le système est utilisé conformément à sa finalité prévue ou dans des conditions de mauvaise utilisation raisonnablement prévisible (article 14, paragraphe 2). Les mesures doivent être proportionnées aux risques, au niveau d'autonomie et au contexte d'utilisation, et sont assurées par l'un des types suivants ou les deux : (a) des mesures que le fournisseur intègre au système, lorsque c'est techniquement possible, avant sa mise sur le marché ou sa mise en service ; (b) des mesures que le fournisseur définit avant cela et qu'il convient que le déployeur mette en œuvre (article 14, paragraphe 3).

art. 14, par. 4

Ce que les personnes chargées du contrôle doivent pouvoir faire

Dans la mesure appropriée et proportionnée, le système est fourni au déployeur de manière que les personnes chargées du contrôle puissent : (a) comprendre correctement les capacités et les limites du système et surveiller son fonctionnement, notamment pour détecter anomalies, dysfonctionnements et performances inattendues ; (b) rester conscientes d'une éventuelle tendance à se fier automatiquement ou excessivement aux résultats (biais d'automatisation) ; (c) interpréter correctement les résultats ; (d) décider, dans une situation particulière, de ne pas utiliser le système ou d'ignorer, remplacer ou inverser ses résultats ; (e) intervenir dans le fonctionnement du système ou l'interrompre au moyen d'un bouton d'arrêt ou d'une procédure similaire permettant au système de s'arrêter en toute sécurité (article 14, paragraphe 4).

art. 14, par. 5

Vérification par deux personnes pour les systèmes de annexe III, 1 a et son exception

Pour les systèmes de l'annexe III, point 1 a, les mesures doivent garantir qu'aucune action ni décision n'est prise par le déployeur sur la base de l'identification, sauf si elle a été vérifiée et confirmée séparément par au moins deux personnes physiques disposant de la compétence, de la formation et de l'autorité nécessaires. Cette exigence ne s'applique pas aux systèmes à haut risque utilisés à des fins répressives, de migration, de contrôle aux frontières ou d'asile, lorsque le droit de l'Union ou le droit national considère son application comme disproportionnée (article 14, paragraphe 5).

art. 26, par. 2, art. 26, par. 3

Déployeurs : attribution du contrôle

Les déployeurs confient le contrôle humain à des personnes physiques disposant de la compétence, de la formation et de l'autorité nécessaires, ainsi que du soutien nécessaire (article 26, paragraphe 2). Les obligations des paragraphes 1 et 2 sont sans préjudice des autres obligations incombant aux déployeurs en vertu du droit de l’Union ou du droit national, ainsi que de la faculté du déployeur d’organiser ses propres ressources et activités pour mettre en œuvre les mesures de contrôle humain indiquées par le fournisseur (article 26, paragraphe 3).

art. 3, par. 46

Les autorités répressives dans le règlement

Le règlement ne prévoit pas de régime sectoriel général de répression ; le point 6 de l'annexe III est le domaine à haut risque intitulé « Répression ». Le règlement définit la répression comme les activités des autorités répressives, ou menées pour leur compte, de prévention et de détection des infractions pénales, d'enquêtes et de poursuites en la matière ou d'exécution de sanctions pénales, y compris la protection contre les menaces pour la sécurité publique et leur prévention (article 3, paragraphe 46). Les utilisations à haut risque figurent à l'annexe III : le point 6 pour la répression et le point 1 pour la biométrie, chacun « pour autant que l'utilisation concernée soit autorisée par le droit de l'Union ou le droit national applicable ».

art. 5, par. 3, art. 26, par. 10

Aucun effet juridique défavorable sur la seule base du résultat

Aucune décision produisant un effet juridique défavorable à l'égard d'une personne ne peut être prise sur la seule base des résultats d'un système d'identification biométrique à distance « en temps réel » (article 5, paragraphe 3). Pour l'identification biométrique à distance a posteriori, il convient de veiller à ce que les autorités répressives ne prennent aucune décision de ce type sur la seule base des résultats du système (article 26, paragraphe 10). Ces deux règles concernent l'identification biométrique à distance.

art. 5, par. 1, f, art. 50, par. 3

Reconnaissance des émotions

Les systèmes de reconnaissance des émotions figurent parmi les systèmes à haut risque au annexe III, point 1 c. L'interdiction de l'article 5, paragraphe 1, point f couvre l'inférence des émotions sur le lieu de travail et dans les établissements d'enseignement, avec une exception pour des raisons médicales ou de sécurité ; ce n'est pas une interdiction de l'usage par la police. Les déployeurs de systèmes de reconnaissance des émotions doivent informer les personnes qui y sont exposées, mais cela ne s'applique pas aux systèmes autorisés par la loi à détecter, prévenir ou rechercher des infractions pénales, sous réserve de garanties appropriées pour les droits et libertés des tiers et conformément au droit de l'Union (article 50, paragraphe 3).

art. 3, par. 3, art. 3, par. 4, art. 25, par. 1

Fournisseur et déployeur

Le fournisseur est une personne physique ou morale, une autorité publique, une agence ou un autre organisme qui développe un système d'IA, ou le fait développer, et le met sur le marché ou le met en service sous son propre nom ou sa propre marque (article 3, paragraphe 3). Le déployeur est une telle personne ou un tel organisme qui utilise un système d'IA sous sa propre autorité, sauf dans le cadre d'une activité personnelle à caractère non professionnel (article 3, paragraphe 4). Une autorité de police qui achète un système est déployeur. Elle devient fournisseur si elle appose son nom ou sa marque sur un système à haut risque déjà sur le marché, y apporte une modification substantielle qui le laisse à haut risque, ou modifie la finalité prévue d'un système qui n'est pas à haut risque de sorte qu'il le devienne (article 25, paragraphe 1).

art. 113, c i, art. 111, par. 2

Dates

Les exigences applicables aux systèmes à haut risque de l'annexe III s'appliquent à partir du 2 décembre 2027 (article 113, point c i). Un système à haut risque mis sur le marché ou mis en service avant cette date n'est couvert que s'il subit ensuite des modifications importantes de sa conception. En tout état de cause, les fournisseurs et les déployeurs de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques doivent prendre les mesures nécessaires pour se conformer au plus tard le 2 août 2030 (article 111, paragraphe 2). Les interdictions de l'article 5, paragraphe 1, points d, e, g et h, s'appliquent depuis le 2 février 2025 (article 113, point a).

art. 2, par. 3, art. 2, par. 6, art. 2, par. 8

Limites du champ d'application

Le règlement ne s'applique pas aux domaines qui ne relèvent pas du champ d'application du droit de l'Union, ni aux systèmes d'IA lorsque et dans la mesure où ils sont utilisés exclusivement à des fins militaires, de défense ou de sécurité nationale (article 2, paragraphe 3). Il ne s'applique pas aux autorités publiques d'un pays tiers ni aux organisations internationales qui utilisent des systèmes d'IA dans le cadre de la coopération internationale ou d'accords de coopération judiciaire et répressive avec l'Union ou un ou plusieurs États membres, à condition que ce pays tiers ou cette organisation offre des garanties adéquates pour la protection des droits et libertés fondamentaux (article 2, paragraphe 4). Il ne s'applique pas aux systèmes ou modèles d’IA, y compris leurs sorties, spécifiquement développés et mis en service à la seule fin de la recherche et du développement scientifiques (article 2, paragraphe 6), ni aux activités de recherche, d'essai ou de développement avant la mise sur le marché ou la mise en service d'un système ; les essais en conditions réelles ne relèvent pas de cette exclusion (article 2, paragraphe 8). Il ne s'applique pas aux systèmes d'IA publiés dans le cadre de licences libres et ouvertes, sauf s'ils sont mis sur le marché ou mis en service en tant que systèmes d'IA à haut risque ou en tant que système d'IA relevant de l'article 5 ou de l'article 50 (article 2, paragraphe 12).

art. 99, par. 4, a, art. 99, par. 8

Amendes pour les fournisseurs

Un fournisseur qui manque aux obligations de l'article 16, dont celle de veiller à ce que le système respecte les exigences de la section 2 (article 16, point a), s'expose à une amende administrative pouvant atteindre 15 millions d'EUR ou, si le contrevenant est une entreprise, 3 % de son chiffre d'affaires mondial total de l'exercice précédent, le montant le plus élevé étant retenu (article 99, paragraphe 4, point a). Pour les PME, y compris les jeunes pousses, chaque amende atteint au plus ces pourcentages ou ce montant, le plus faible étant retenu (article 99, paragraphe 6) ; il en va de même pour les petites ETI, appelées « petites entreprises à moyenne capitalisation » dans le règlement (article 99, paragraphe 6a ; article 3, paragraphe 14b). Chaque État membre détermine dans quelle mesure des amendes peuvent être imposées aux autorités et organismes publics établis sur son territoire (article 99, paragraphe 8).

art. 14, par. 4

Exemple : une correspondance présentée avec ses éléments

Exemple : un système affiche chaque correspondance avec son indice et l'image de référence, et laisse l'examinateur la rejeter. Cela soutient l'article 14, paragraphe 4, points c et d.

art. 14, par. 5

Un choix de conception, pas une exigence du règlement

Un choix de conception courant, pas une exigence du règlement : consigner la décision de l'examinateur à côté de chaque correspondance, afin de pouvoir retracer la vérification de l'article 14, paragraphe 5 dans les journaux de l'article 12, paragraphe 3, point d.