Article 17 pour l’IA éducative : système de gestion de la qualité

Le système doit être documenté de manière systématique et ordonnée sous la forme de politiques, de procédures et d’instructions écrites. Le règlement énumère 13 aspects, a) à m). Notre regroupement ci-dessous présente d’abord a) et trois aspects liés à d’autres obligations du règlement, puis les neuf autres.

• art. 17(1)(a)
  Stratégie de conformité réglementaire

  Une stratégie de conformité réglementaire, y compris le respect des procédures d’évaluation de la conformité et des procédures de gestion des modifications du système.

• art. 17(1)(g)
  Système de gestion des risques

  Le système de gestion des risques visé à l’article 9.

• art. 17(1)(h)
  Surveillance après commercialisation

  La mise en place, la mise en œuvre et la tenue à jour d’un système de surveillance après commercialisation, conformément à l’article 72.

• art. 17(1)(i)
  Signalement des incidents graves

  Les procédures de signalement d’un incident grave conformément à l’article 73.

• art. 17(1)(b)–(f), (j)–(m)
  Les neuf autres aspects

  Conception et contrôle de la conception ; développement, contrôle de la qualité et assurance de la qualité ; procédures d’examen, d’essai et de validation ; spécifications techniques et normes ; gestion des données ; communication avec les autorités, les organismes notifiés et d’autres ; tenue des enregistrements ; gestion des ressources ; cadre de responsabilité.

• art. 17(2)
  Proportionné à la taille, pas à la protection

  La mise en œuvre doit être proportionnée à la taille de l’organisation du fournisseur, en particulier s’il s’agit d’une PME, y compris une jeune pousse, ou d’une petite ETI. Les fournisseurs doivent néanmoins respecter le degré de rigueur et le niveau de protection nécessaires pour que leurs systèmes d’IA à haut risque respectent le règlement.

L’article 17 ne vise que les fournisseurs de systèmes d’IA à haut risque. Les lignes ci-dessous montrent où l’IA éducative devient à haut risque et qui est le fournisseur.

• Où se situe l’éducation dans le règlement

  Le règlement ne comporte pas de régime propre à l’éducation dans son ensemble. Ce site emploie « éducation » pour l’IA utilisée dans les écoles, les universités, la formation professionnelle et les examens. Cette IA entre dans le règlement par l’annexe III, point 3, intitulé « Éducation et formation professionnelle », et par l’interdiction de déduire les émotions dans les établissements d’enseignement (article 5, paragraphe 1, point f)). Le point 3 ne nomme ni la détection du plagiat, ni la prédiction du décrochage, ni les plateformes d’apprentissage adaptatif, ni les tableaux de bord, ni les agents conversationnels administratifs ; qu’un système en relève découle de sa finalité prévue (article 3, point 12). Un système peut aussi être à haut risque au titre d’un autre point de l’annexe III.

• Annexe III, point 3 : quatre usages

  L’annexe III, point 3 couvre les systèmes d’IA destinés à être utilisés : a) pour déterminer l’accès, l’admission ou l’affectation de personnes physiques à des établissements d’enseignement et de formation professionnelle, à tous les niveaux ; b) pour évaluer les acquis d’apprentissage, y compris lorsque ceux-ci sont utilisés pour orienter le processus d’apprentissage de personnes physiques dans les établissements d’enseignement et de formation professionnelle, à tous les niveaux ; c) pour évaluer le niveau d’enseignement approprié qu’une personne recevra ou sera en mesure d’atteindre, dans le contexte ou au sein de ces établissements ; d) pour surveiller et détecter des comportements interdits chez les étudiants lors d’examens, dans le contexte de ces établissements ou en leur sein. En vertu de l’article 6, paragraphe 2, les systèmes d’IA visés à l’annexe III sont considérés comme à haut risque. Un fournisseur qui considère qu’un tel système n’est pas à haut risque au titre de l’article 6, paragraphe 3 doit documenter son évaluation avant la mise sur le marché ou la mise en service du système, et l’enregistrer conformément à l’article 49, paragraphe 2. La dérogation ne s’applique jamais lorsque le système effectue du profilage de personnes physiques. Le profilage est celui défini à l’article 4, point 4), du règlement (UE) 2016/679 (article 3, point 52).

• Fournisseur et déployeur

  Le fournisseur développe le système d’IA, ou le fait développer, et le met sur le marché ou le met en service sous son propre nom (article 3, point 3) ; ce peut être un éditeur de technologies éducatives ou une université qui développe un système pour son propre usage. Une personne physique ou morale, une autorité publique, une agence ou un autre organisme qui utilise un système sous son autorité, par exemple une école, une université ou un organisme d’examen, est un déployeur (article 3, point 4). Un déployeur devient fournisseur s’il appose son nom ou sa marque sur un système à haut risque déjà mis sur le marché, s’il y apporte une modification substantielle qui le laisse à haut risque, ou s’il modifie la finalité prévue d’un système qui n’était pas à haut risque de sorte qu’il le devienne (article 25, paragraphe 1).

• Dates

  L’annexe III, point 3 s’applique à partir du 2 décembre 2027 (article 113, point c)). Un système mis sur le marché ou mis en service avant cette date n’est couvert que si, à partir de cette date, sa conception subit d’importantes modifications. Dans le même paragraphe, la phrase « en tout état de cause » prévoit que les fournisseurs et déployeurs de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques prennent les mesures nécessaires pour se conformer d’ici le 2 août 2030 (article 111, paragraphe 2). Le règlement ne dit pas si cela vise aussi les systèmes mis sur le marché après le 2 décembre 2027 ; consultez un conseil juridique.

• Amendes

  Les manquements aux obligations des fournisseurs (article 16) et des déployeurs (article 26) peuvent être sanctionnés d’amendes pouvant atteindre 15 millions d’EUR ou, pour une entreprise, 3 % de son chiffre d’affaires annuel mondial total de l’exercice précédent, le montant le plus élevé étant retenu (article 99, paragraphe 4). Pour les PME, y compris les jeunes pousses, chaque amende est plafonnée au montant le plus faible (article 99, paragraphe 6). Le même plafond vaut pour les petites ETI (« petites entreprises à moyenne capitalisation » dans le règlement ; article 3, point 14 ter, article 99, paragraphe 6 bis). Chaque État membre fixe les règles déterminant dans quelle mesure des amendes administratives peuvent être imposées aux autorités et organismes publics établis dans cet État membre (article 99, paragraphe 8).

• Limites du champ d’application du règlement

  Le règlement s’applique aux fournisseurs qui mettent sur le marché ou en service des systèmes d’IA dans l’Union, ou mettent sur le marché des modèles d’IA à usage général dans l’Union, où qu’ils soient établis (article 2, paragraphe 1, point a)), ainsi qu’aux fournisseurs et déployeurs établis dans un pays tiers lorsque les sorties du système d’IA sont utilisées dans l’Union (point c)). Il ne s’applique pas aux domaines qui ne relèvent pas du droit de l’Union et n’affecte pas les compétences des États membres en matière de sécurité nationale ; il ne s’applique pas non plus aux systèmes d’IA utilisés exclusivement à des fins militaires, de défense ou de sécurité nationale (article 2, paragraphe 3). Le règlement ne s’applique pas aux systèmes ou modèles d’IA, y compris leurs sorties, spécifiquement développés et mis en service à la seule fin de la recherche et du développement scientifiques (article 2, paragraphe 6). Il ne s’applique pas non plus aux activités de recherche, d’essai et de développement menées avant la mise sur le marché ou la mise en service d’un système ou d’un modèle ; les essais en conditions réelles ne sont pas couverts par cette exclusion (article 2, paragraphe 8). Il ne s’applique pas aux obligations incombant aux déployeurs qui sont des personnes physiques utilisant des systèmes d’IA dans le cadre d’une activité strictement personnelle à caractère non professionnel (article 2, paragraphe 10). Il ne s’applique pas aux systèmes d’IA publiés dans le cadre de licences libres et ouvertes, sauf s’ils sont mis sur le marché ou mis en service en tant que systèmes d’IA à haut risque ou en tant que systèmes d’IA relevant de l’article 5 ou 50 (article 2, paragraphe 12).

• Systèmes de gestion de la qualité sectoriels

  Les fournisseurs soumis à des obligations relatives aux systèmes de gestion de la qualité ou à une fonction équivalente en vertu du droit sectoriel de l’Union peuvent inclure les aspects de l’article 17, paragraphe 1, dans le système de gestion de la qualité prévu par ce droit (article 17, paragraphe 3).

• Aucune norme nommée, aucune règle pour l’éducation

  Le règlement ne nomme aucune norme ni certification pour le système de gestion de la qualité et n’a pas de règle propre à l’éducation. L’article 17, paragraphe 1, point e) renvoie aux spécifications techniques, y compris les normes, à appliquer et, lorsque les normes harmonisées pertinentes ne sont pas appliquées intégralement ou ne couvrent pas toutes les exigences du chapitre III, section 2 (articles 8 à 15), aux moyens utilisés pour garantir que le système les respecte.

• La conservation sur dix ans relève de l’article 18

  L’obligation de conserver la documentation du système de gestion de la qualité pendant dix ans après la mise sur le marché ou la mise en service du système figure à l’article 18, paragraphe 1, pas à l’article 17.

• Exemple : un tableau des 13 aspects

  Exemple, sans valeur d’exigence du règlement : un fournisseur pourrait lister les 13 aspects dans un tableau et indiquer le document interne qui couvre chacun.

• Article 17 : système de gestion de la qualité

  L’article 17 pour tous les secteurs : les 13 aspects, la proportionnalité et les amendes.

• Règlement IA edtech : conformité éducation

  Le panorama de l’éducation : comment le règlement atteint l’IA dans les écoles, les universités et la formation.

• Article 15 pour l’IA éducative : exactitude, robustesse et cybersécurité

  IA éducative et article 15 : exactitude, robustesse, cybersécurité, dates et rôles.

• Annexe III en détail : les 8 catégories à haut risque

  Les huit domaines de l’annexe III, dont l’éducation et la formation professionnelle.