Article 9 pour l’IA fintech : système de gestion des risques

L’article 9 fixe des obligations pour le fournisseur. Il ne fixe aucune liste de risques, valeur d’indicateur ni seuil pour la fintech ou pour un autre secteur.

• art. 9(1)
  Établir, mettre en œuvre, documenter et tenir à jour

  Un système de gestion des risques doit être établi, mis en œuvre, documenté et tenu à jour pour les systèmes d’IA à haut risque.

• art. 9(2)
  Un processus continu sur tout le cycle de vie

  Le système est un processus itératif continu, planifié et mené tout au long du cycle de vie, avec un examen et une mise à jour méthodiques et périodiques. Il comprend quatre étapes. Première étape : identifier et analyser les risques connus et raisonnablement prévisibles pour la santé, la sécurité ou les droits fondamentaux lorsque le système est utilisé conformément à sa finalité prévue. Deuxième étape : estimer et évaluer les risques liés à l’usage prévu et à une mauvaise utilisation raisonnablement prévisible. Troisième étape : évaluer d’autres risques à partir des données de la surveillance après commercialisation (article 72). Quatrième étape : adopter des mesures de gestion des risques appropriées et ciblées.

• art. 9(3)
  Seulement les risques que la conception ou l’information peuvent traiter

  Les risques visés sont ceux qui peuvent être raisonnablement atténués ou éliminés par le développement ou la conception du système, ou par la fourniture d’informations techniques appropriées.

• art. 9(5)
  Le risque résiduel doit être jugé acceptable

  Le risque résiduel pertinent associé à chaque danger, ainsi que le risque résiduel global, doivent être jugés acceptables. Les risques sont éliminés ou réduits par la conception et le développement autant que la technologie le permet. Le cas échéant, des mesures adéquates d’atténuation et de contrôle répondent aux risques impossibles à éliminer. Les déployeurs reçoivent les informations requises par l’article 13 et, éventuellement, une formation.

• art. 9(6)–(8)
  Des essais selon des indicateurs définis à l’avance

  Les systèmes à haut risque doivent être soumis à des essais afin de déterminer les mesures de gestion des risques les plus appropriées. Les essais garantissent qu’ils fonctionnent de manière conforme à leur finalité prévue et respectent les exigences de la section 2. Ils sont effectués, selon les besoins, tout au long du développement et, en tout état de cause, avant la mise sur le marché ou la mise en service. Les tests reposent sur des indicateurs et des seuils probabilistes préalablement définis, adaptés à la finalité prévue. Les procédures d’essai peuvent comprendre des essais en conditions réelles (article 60).

• art. 9(9)
  Les personnes de moins de 18 ans et d’autres groupes vulnérables

  Les fournisseurs prennent en considération la probabilité que, compte tenu de la finalité prévue, le système puisse avoir une incidence négative sur les personnes âgées de moins de 18 ans et, le cas échéant, sur d’autres groupes vulnérables.

L’article 9 ne s’applique qu’aux systèmes d’IA à haut risque. Les lignes ci-dessous montrent où l’IA fintech devient à haut risque.

• La fintech n’est pas une catégorie du règlement

  Le règlement n’a pas de catégorie fintech. Ce site emploie ce mot pour l’IA qui relève du règlement par deux usages de l’annexe III, point 5. Le point 5 b) vise les systèmes d’IA destinés à être utilisés pour évaluer la solvabilité des personnes physiques ou pour établir leur note de crédit. Il excepte les systèmes d’IA utilisés à des fins de détection de fraudes financières. Le point 5 c) vise les systèmes d’IA destinés à être utilisés pour l’évaluation des risques et la tarification en ce qui concerne les personnes physiques en matière d’assurance-vie et d’assurance maladie. Le point 5 ne nomme pas la détection de fraudes, ni la lutte contre le blanchiment de capitaux ou la connaissance du client. Il ne nomme pas non plus la négociation algorithmique, le conseil automatisé, l’assurance non-vie, la gestion des sinistres ni les décisions de crédit concernant des personnes morales. Un système destiné à l’un de ces usages n’est à haut risque que si un autre point de l’annexe III ou l’annexe I le couvre.

• L’article 6, paragraphe 3, peut sortir un système de l’annexe III

  Un système relevant du point 5 b) ou 5 c) est à haut risque au titre de l’article 6, paragraphe 2. Au titre de l’article 6, paragraphe 3, il n’est pas à haut risque s’il ne présente pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux. Cela inclut de ne pas avoir d’incidence significative sur le résultat de la prise de décision. Le règlement applique cette exception lorsqu’une des conditions suivantes est remplie (article 6, paragraphe 3, points a) à d)). Le système est destiné à accomplir une tâche procédurale étroite. Ou il est destiné à améliorer le résultat d’une activité humaine préalablement réalisée. Ou il est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures et n’est pas destiné à se substituer à l’évaluation humaine préalablement réalisée, ni à influencer celle-ci, sans examen humain approprié. Ou il est destiné à exécuter une tâche préparatoire en vue d’une évaluation pertinente aux fins des cas d’utilisation visés à l’annexe III. Savoir comment ces conditions se combinent avec le critère du risque important relève d’un juriste. Le système est toujours à haut risque lorsqu’il effectue un profilage de personnes physiques. Le profilage est défini à l’article 4, point 4), du RGPD (article 3, point 52)). Savoir si un système de scoring ou de tarification donné en effectue un relève aussi d’un juriste. Le fournisseur qui invoque l’exception documente son évaluation avant la mise sur le marché ou la mise en service du système. Il doit aussi enregistrer le système (article 6, paragraphe 4, article 49, paragraphe 2).

• Fournisseur et déployeur

  Le fournisseur développe un système d’IA, ou le fait développer, et le met sur le marché ou le met en service sous son propre nom ou sa propre marque (article 3, point 3)). La mise en service inclut la fourniture pour usage propre du fournisseur (article 3, point 11)). Une banque ou un assureur qui développe un système et le met en service sous son propre nom est donc un fournisseur. Une banque ou un assureur qui utilise un système sous son autorité est un déployeur (article 3, point 4)). Un déployeur devient fournisseur dans trois cas. Il appose son nom ou sa marque sur un système à haut risque déjà mis sur le marché, sans préjudice des dispositions contractuelles prévoyant une autre répartition des obligations. Il y apporte une modification substantielle qui le laisse à haut risque. Ou il modifie la finalité prévue d’un système qui n’était pas à haut risque, de sorte qu’il le devienne (article 25, paragraphe 1). Le fournisseur qui a initialement mis le système sur le marché ou en service n’est alors plus considéré comme le fournisseur de ce système spécifique, et coopère étroitement avec le nouveau fournisseur (article 25, paragraphe 2). Cela ne s’applique pas lorsque le fournisseur initial a clairement précisé que son système ne doit pas être transformé en système d’IA à haut risque.

• Établissements financiers : ce qu’ils peuvent combiner

  Certains fournisseurs sont soumis à des exigences concernant les processus internes de gestion des risques en vertu d’autres dispositions pertinentes du droit de l’Union. Pour eux, les aspects de l’article 9, paragraphes 1 à 9, peuvent faire partie des procédures de gestion des risques établies conformément à ce droit, ou être combinés à celles-ci (article 9, paragraphe 10). Une autre règle vise les fournisseurs qui sont des établissements financiers soumis à des exigences de gouvernance interne prévues par la législation de l’Union sur les services financiers. Pour eux, le respect de ces règles vaut respect de l’obligation de mettre en place un système de gestion de la qualité. Font exception le système de gestion des risques, la surveillance après commercialisation et le signalement d’incidents graves (article 17, paragraphe 4, qui renvoie à l’article 17, paragraphe 1, points g), h) et i)). Le règlement ne nomme aucune législation précise sur les services financiers.

• Dates

  Les exigences pour ces usages de l’annexe III s’appliquent à partir du 2 décembre 2027 (article 113, troisième alinéa, point c) i)). Un système mis sur le marché ou mis en service avant cette date n’est couvert que si sa conception subit ensuite d’importantes modifications. En tout état de cause, les fournisseurs et les déployeurs de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques doivent prendre les mesures nécessaires pour se conformer au plus tard le 2 août 2030 (article 111, paragraphe 2).

• Amendes

  Les fournisseurs doivent veiller à ce que leurs systèmes à haut risque respectent les exigences de la section 2 du chapitre III, qui comprend les articles 9 à 15 (article 16, point a)). Un manquement aux obligations du fournisseur de l’article 16 ou à celles du déployeur de l’article 26 peut être sanctionné d’une amende. Elle peut atteindre 15 millions d’EUR ou, pour une entreprise, 3 % de son chiffre d’affaires annuel mondial total de l’exercice précédent, le montant le plus élevé étant retenu (article 99, paragraphe 4, points a) et e)). Pour les PME, y compris les jeunes pousses, chaque amende est plafonnée au plus faible des deux montants (article 99, paragraphe 6). Le même plafond vaut pour les petites ETI (« petites entreprises à moyenne capitalisation » dans le règlement ; article 3, point 14 ter), article 99, paragraphe 6 bis). Chaque État membre établit les règles déterminant dans quelle mesure des amendes administratives peuvent être imposées aux autorités et organismes publics établis sur son territoire (article 99, paragraphe 8).

• Portée et limites du règlement

  Le règlement s’applique aux fournisseurs et aux déployeurs qui ont leur lieu d’établissement ou sont situés dans un pays tiers, lorsque les sorties produites par le système d’IA sont utilisées dans l’Union (article 2, paragraphe 1, point c)). Il ne s’applique pas aux domaines qui ne relèvent pas du champ d’application du droit de l’Union et ne porte pas atteinte aux compétences des États membres en matière de sécurité nationale (article 2, paragraphe 3). Le règlement ne s’applique pas aux systèmes ou modèles d’IA, y compris leurs sorties, spécifiquement développés et mis en service uniquement à des fins de recherche et développement scientifiques (article 2, paragraphe 6). Il ne s’applique pas aux activités de recherche, d’essai et de développement avant la mise sur le marché ou la mise en service d’un système. Les essais en conditions réelles ne sont pas couverts par cette exclusion (article 2, paragraphe 8). Les systèmes d’IA publiés dans le cadre de licences libres et ouvertes sont hors du champ du règlement. Cette exclusion ne joue pas s’ils sont mis sur le marché ou mis en service en tant que systèmes d’IA à haut risque, ou s’ils relèvent de l’article 5 ou de l’article 50 (article 2, paragraphe 12).

• Pas de liste de risques ni de valeurs d’essai pour la fintech

  L’article 9 ne nomme aucun risque, indicateur ni valeur de seuil pour le scoring de crédit ou la tarification d’assurance. Le fournisseur identifie les risques de son propre système et fixe les indicateurs et les seuils adaptés à sa finalité prévue (article 9, paragraphes 2 et 8). Le règlement lui-même ne nomme aucune norme harmonisée. Les systèmes à haut risque conformes à des normes harmonisées dont les références sont publiées au Journal officiel sont présumés conformes aux exigences de la section 2, dans la mesure où ces normes les couvrent (article 40, paragraphe 1). La Commission élabore des lignes directrices sur l’application pratique des exigences et obligations des articles 8 à 15, 25 et 26 (article 96, paragraphe 1, point a)).

• Exemple : risques pour un système de scoring de crédit

  Exemple, sans valeur d’exigence du règlement : le fournisseur d’un système de scoring de crédit pourrait recenser le risque que les demandeurs d’un groupe soient systématiquement moins bien notés. Il pourrait tester ce risque selon un indicateur fixé avant les tests et consigner le résultat.

• Exemple : risques pour la tarification d’assurance

  Exemple, sans valeur d’exigence du règlement : le fournisseur d’un système de tarification d’assurance pourrait se demander si ses prix défavorisent des groupes vulnérables (article 9, paragraphe 9). Il pourrait ensuite décider quelle modification de conception ou quelle notice d’utilisation réduirait ce risque.

• Article 9 : système de gestion des risques pour l'IA à haut risque

  L’article 9 pour tous les secteurs : exigences, dates et amendes.

• Règlement IA fintech : guide de conformité

  Vue d’ensemble de la fintech : comment le règlement atteint l’IA de scoring de crédit et d’assurance.

• Article 10 pour l’IA fintech : données et gouvernance des données

  L’IA fintech et l’article 10 : jeux de données, examen des biais et catégories particulières de données à caractère personnel.

• Article 6 : classification des systèmes IA à haut risque

  Comment l’article 6 classe les systèmes d’IA à haut risque, y compris l’exception de l’article 6, paragraphe 3.