Article 14 pour l’IA dans l’éducation : contrôle humain

L’article 14 fixe des obligations pour le fournisseur. Il ne dit pas qui prend la décision finale sur une note ou une admission.

• art. 14(1)
  Contrôle effectif par des personnes physiques

  Les systèmes à haut risque doivent être conçus et développés, notamment au moyen d’interfaces homme-machine appropriées, de manière qu’ils puissent faire l’objet d’un contrôle effectif par des personnes physiques pendant leur période d’utilisation.

• art. 14(2)
  Objectif : prévenir ou réduire les risques

  Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsque le système est utilisé conformément à sa finalité prévue ou dans des conditions de mauvaise utilisation raisonnablement prévisible, en particulier lorsque de tels risques persistent malgré l’application des autres exigences de la section 2.

• art. 14(3)
  Des mesures proportionnées aux risques, à l’autonomie et au contexte

  Les mesures de contrôle doivent être proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système. Elles sont assurées au moyen d’un ou des deux types de mesures suivants : a) des mesures identifiées et, lorsque cela est techniquement possible, intégrées par le fournisseur dans le système avant sa mise sur le marché ou sa mise en service ; b) des mesures identifiées par le fournisseur avant la mise sur le marché ou la mise en service du système et qui se prêtent à une mise en œuvre par le déployeur.

• art. 14(4)(a)–(c)
  Ce que les personnes chargées du contrôle doivent pouvoir faire (1)

  Le système doit être fourni au déployeur de telle manière que les personnes physiques chargées d’effectuer un contrôle humain aient la possibilité, dans la mesure où cela est approprié et proportionné : a) de comprendre correctement les capacités et les limites pertinentes du système et d’être en mesure de surveiller correctement son fonctionnement, y compris en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues ; b) d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux sorties (biais d’automatisation), en particulier pour les systèmes utilisés pour fournir des informations ou des recommandations concernant les décisions à prendre par des personnes physiques ; c) d’interpréter correctement les sorties, compte tenu par exemple des outils et méthodes d’interprétation disponibles.

• art. 14(4)(d), (e)
  Ce que les personnes chargées du contrôle doivent pouvoir faire (2)

  Elles doivent aussi avoir la possibilité, dans la mesure où cela est approprié et proportionné : d) de décider, dans une situation particulière, de ne pas utiliser le système ou d’ignorer, remplacer ou inverser sa sortie ; e) d’intervenir dans le fonctionnement du système ou de l’interrompre au moyen d’un « bouton d’arrêt » ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée.

L’article 14 ne s’applique qu’aux systèmes d’IA à haut risque. Les lignes ci-dessous montrent où l’IA dans l’éducation devient à haut risque et qui fait quoi.

• Le règlement n’a pas de régime sectoriel pour l’éducation

  Le règlement n’a pas de régime sectoriel pour l’éducation. L’annexe III, point 3, est le domaine à haut risque intitulé « Éducation et formation professionnelle ». Ce site emploie le mot éducation pour l’IA qui relève du règlement par ce point. Le point 3 énumère quatre usages. a) Les systèmes d’IA destinés à être utilisés pour déterminer l’accès, l’admission ou l’affectation de personnes physiques à des établissements d’enseignement et de formation professionnelle, à tous les niveaux. b) Les systèmes d’IA destinés à être utilisés pour évaluer les acquis d’apprentissage, y compris lorsque ceux-ci sont utilisés pour orienter le processus d’apprentissage de personnes physiques. c) Les systèmes d’IA destinés à être utilisés pour évaluer le niveau d’enseignement approprié qu’une personne recevra ou sera en mesure d’atteindre. d) Les systèmes d’IA destinés à être utilisés pour surveiller et détecter des comportements interdits chez les étudiants lors d’examens. Chaque usage est lié à des établissements d’enseignement et de formation professionnelle à tous les niveaux. Le point 3 ne nomme pas, en tant que tels, la détection de plagiat ou de textes générés par l’IA, la prédiction du décrochage, les tableaux de bord d’apprentissage, les chatbots administratifs ni l’apprentissage adaptatif. Un système destiné à l’un de ces usages n’est à haut risque que si sa finalité prévue correspond à l’un des quatre usages, ou si un autre point de l’annexe III ou l’annexe I le couvre.

• L’inférence d’émotions dans les établissements d’enseignement : interdite, avec une exception pour des raisons médicales ou de sécurité

  L’article 5, paragraphe 1, point f), interdit la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA pour inférer les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement, sauf lorsque l’utilisation du système d’IA est destinée à être mise en place ou mise sur le marché pour des raisons médicales ou de sécurité. L’interdiction s’applique à partir du 2 février 2025 (article 113, point a)). C’est une interdiction, et non un usage à haut risque : l’exception ne crée aucune obligation et n’est pas un point d’accroche de l’annexe III. Un manquement est sanctionné d’une amende pouvant atteindre 35 millions d’EUR ou, pour une entreprise, 7 % de son chiffre d’affaires annuel mondial total, le montant le plus élevé étant retenu (article 99, paragraphe 3). Pour les PME, y compris les jeunes pousses, chaque amende est plafonnée au plus faible des deux montants (article 99, paragraphe 6).

• L’article 6, paragraphe 3, peut sortir un système de l’annexe III

  Un système relevant du point 3 est à haut risque au titre de l’article 6, paragraphe 2. Par dérogation, un système d’IA visé à l’annexe III n’est pas considéré comme étant à haut risque au titre de l’article 6, paragraphe 3 lorsqu’il ne présente pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques, y compris en n’ayant pas d’incidence significative sur le résultat de la prise de décision. Cela s’applique lorsqu’une des quatre conditions suivantes est remplie : a) le système est destiné à accomplir une tâche procédurale étroite ; b) il est destiné à améliorer le résultat d’une activité humaine préalablement réalisée ; c) il est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures et n’est pas destiné à se substituer à l’évaluation humaine préalablement réalisée, ni à influencer celle-ci, sans examen humain approprié ; ou d) il est destiné à exécuter une tâche préparatoire en vue d’une évaluation pertinente aux fins des cas d’utilisation visés à l’annexe III. Un système de l’annexe III est toujours à haut risque lorsqu’il effectue un profilage de personnes physiques (article 3, point 52), article 4, point 4), du RGPD). Le fournisseur qui considère que son système de l’annexe III n’est pas à haut risque documente son évaluation avant que le système ne soit mis sur le marché ou mis en service, et l’enregistre (article 6, paragraphe 4, article 49, paragraphe 2). Savoir si un système éducatif donné effectue un profilage relève d’un juriste.

• Fournisseur et déployeur

  Le fournisseur développe un système d’IA, ou le fait développer, et le met sur le marché ou le met en service sous son propre nom ou sa propre marque (article 3, point 3)). La mise en service inclut la fourniture pour usage propre (article 3, point 11)). Un établissement scolaire, une université ou un organisme d’examen qui utilise un système sous son autorité est un déployeur (article 3, point 4)). Une université qui développe un système et le met en service pour son usage propre sous son propre nom est donc un fournisseur. Un déployeur devient fournisseur d’un système à haut risque dans trois cas : il appose son nom ou sa marque sur un système déjà mis sur le marché, sans préjudice des dispositions contractuelles prévoyant une autre répartition des obligations ; il apporte une modification substantielle qui laisse le système à haut risque ; ou il modifie la finalité prévue d’un système qui n’était pas à haut risque, de sorte qu’il le devienne (article 25, paragraphe 1).

• Déployeur : confier et surveiller le contrôle

  Les déployeurs confient le contrôle humain à des personnes physiques qui disposent des compétences, de la formation et de l’autorité nécessaires ainsi que du soutien nécessaire (article 26, paragraphe 2). Ces obligations sont sans préjudice des autres obligations du déployeur prévues par le droit de l’Union ou le droit national et de la faculté du déployeur d’organiser ses propres ressources et activités aux fins de la mise en œuvre des mesures de contrôle humain indiquées par le fournisseur (article 26, paragraphe 3). Les déployeurs surveillent le fonctionnement du système sur la base de la notice d’utilisation (article 26, paragraphe 5). Les fournisseurs et les déployeurs prennent aussi des mesures pour favoriser le développement de la maîtrise de l’IA par leur personnel et les autres personnes s’occupant du fonctionnement et de l’utilisation des systèmes d’IA pour leur compte (article 4). L’article 14, paragraphe 5, la vérification d’une identification par au moins deux personnes physiques, ne s’applique qu’aux systèmes visés à l’annexe III, point 1 a).

• Dates

  Le chapitre III, sections 1 à 3, qui comprennent les articles 9 à 15, 17, 26 et 27, s’applique aux systèmes d’IA classés à haut risque au titre de l’article 6, paragraphe 2, et de l’annexe III à partir du 2 décembre 2027 (article 113, point c) i)). Un système à haut risque mis sur le marché ou mis en service avant cette date n’est couvert que si, à partir de cette date, sa conception subit d’importantes modifications. En tout état de cause, les fournisseurs et les déployeurs de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques prennent les mesures nécessaires pour se conformer aux exigences et obligations du règlement au plus tard le 2 août 2030 (article 111, paragraphe 2). Le règlement n’indique pas si cela vaut aussi pour les systèmes mis sur le marché ou mis en service après le 2 décembre 2027 ; c’est une question pour un juriste.

• Amendes

  Les fournisseurs doivent veiller à ce que leurs systèmes à haut risque respectent les exigences de la section 2 du chapitre III, qui comprend les articles 9 à 15 (article 16, point a)). Un manquement aux obligations du fournisseur de l’article 16 ou à celles du déployeur de l’article 26 peut être sanctionné d’une amende. Elle peut atteindre 15 millions d’EUR ou, pour une entreprise, 3 % de son chiffre d’affaires annuel mondial total de l’exercice précédent, le montant le plus élevé étant retenu (article 99, paragraphe 4, points a) et e)). Pour les PME, y compris les jeunes pousses, chaque amende est plafonnée au plus faible des deux montants (article 99, paragraphe 6). Le même plafond vaut pour les petites ETI (« petites entreprises à moyenne capitalisation » dans le règlement ; article 3, point 14 ter), article 99, paragraphe 6 bis). Chaque État membre établit dans quelle mesure des amendes peuvent être imposées aux autorités publiques et aux organismes publics (article 99, paragraphe 8).

• Systèmes et usages hors du champ du règlement

  Le règlement s’applique aux fournisseurs établis ou situés dans l’Union ou dans un pays tiers qui mettent sur le marché ou mettent en service des systèmes d’IA dans l’Union, et aux fournisseurs et aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou sont situés dans un pays tiers, lorsque les sorties produites par le système d’IA sont utilisées dans l’Union (article 2, paragraphe 1, points a) et c)). Il ne s’applique pas aux domaines qui ne relèvent pas du champ d’application du droit de l’Union et ne porte pas atteinte aux compétences des États membres en matière de sécurité nationale (article 2, paragraphe 3). Il ne s’applique pas aux systèmes d’IA si et dans la mesure où ils sont mis sur le marché, mis en service ou utilisés avec ou sans modifications exclusivement à des fins militaires, de défense ou de sécurité nationale, ni aux systèmes d’IA qui ne sont pas mis sur le marché ou mis en service dans l’Union, lorsque les sorties sont utilisées dans l’Union exclusivement à des fins de ce type (article 2, paragraphe 3). Il ne s’applique pas aux systèmes d’IA ou modèles d’IA, y compris à leurs sorties, spécifiquement développés et mis en service uniquement à des fins de recherche et développement scientifiques (article 2, paragraphe 6). Il ne s’applique pas aux activités de recherche, d’essai et de développement avant la mise sur le marché ou la mise en service d’un système ; les essais en conditions réelles ne sont pas couverts par cette exclusion (article 2, paragraphe 8). Il ne s’applique pas aux obligations incombant aux déployeurs qui sont des personnes physiques utilisant des systèmes d’IA dans le cadre d’une activité strictement personnelle à caractère non professionnel (article 2, paragraphe 10). Les systèmes d’IA publiés dans le cadre de licences libres et ouvertes sont hors du champ du règlement, sauf s’ils sont mis sur le marché ou mis en service en tant que systèmes d’IA à haut risque, ou s’ils relèvent de l’article 5 ou de l’article 50 (article 2, paragraphe 12).

• Aucune règle sur la décision finale pour les notes ou les admissions

  L’article 14 ne dit pas qu’un enseignant ou un responsable des admissions doit prendre la décision finale, et il n’interdit pas en tant que telle l’évaluation automatisée. Il exige que des personnes physiques puissent contrôler le système et puissent décider de ne pas l’utiliser ou d’ignorer, remplacer ou inverser sa sortie. Le droit de l’Union ou le droit national peut ajouter des règles pour les déployeurs (article 26, paragraphe 3). Le règlement lui-même ne nomme aucune norme harmonisée. Les systèmes à haut risque conformes à des normes harmonisées dont les références sont publiées au Journal officiel sont présumés conformes aux exigences de la section 2, dans la mesure où ces normes les couvrent (article 40, paragraphe 1).

• Exemple : le contrôle d’un système d’admission

  Exemple, et non une exigence du règlement : le fournisseur d’un système qui classe des candidats pourrait intégrer une vue montrant au personnel les facteurs à l’origine d’un classement, et un moyen d’écarter un classement. Cela soutiendrait les capacités de l’article 14, paragraphe 4, points c) et d).

• Exemple : le contrôle d’un système de surveillance des examens

  Exemple, et non une exigence du règlement : le fournisseur d’un système qui détecte des comportements interdits lors d’examens pourrait présenter une alerte comme une invitation à vérifier pour une personne, et non comme un constat. Cela répondrait à la tendance à se fier aux sorties (article 14, paragraphe 4, point b)).

• Article 14 règlement IA : contrôle humain et bouton d’arrêt

  L’article 14 pour tous les secteurs : exigences, dates et amendes.

• Règlement IA edtech : conformité éducation

  Vue d’ensemble de l’éducation : comment le règlement atteint l’IA d’admission, de notation, d’évaluation du niveau et de surveillance des examens.

• Article 9 pour l’IA dans l’éducation : système de gestion des risques

  L’IA dans l’éducation et l’article 9 : le système de gestion des risques, y compris les personnes de moins de 18 ans.

• Article 26 : obligations des déployeurs d’IA à haut risque

  Ce que les déployeurs de systèmes d’IA à haut risque doivent faire, y compris confier le contrôle humain.