Artikel 17 voor fintech-AI: kwaliteitsbeheersysteem

Het systeem moet systematisch en ordelijk worden gedocumenteerd in de vorm van schriftelijke beleidslijnen, procedures en instructies. Vier onderdelen hangen samen met andere verplichtingen van de verordening; negen andere volgen.

• art. 17(1)(a)
  Strategie voor regelgevingsconformiteit

  Een strategie voor naleving van de regelgeving, met inbegrip van de naleving van conformiteitsbeoordelingsprocedures en procedures voor het beheer van wijzigingen van het systeem.

• art. 17(1)(g)
  Risicobeheersysteem

  Het in artikel 9 bedoelde risicobeheersysteem.

• art. 17(1)(h)
  Monitoring na het in de handel brengen

  Het opzetten, uitvoeren en onderhouden van een systeem voor monitoring na het in de handel brengen overeenkomstig artikel 72.

• art. 17(1)(i)
  Melding van ernstige incidenten

  Procedures voor de melding van een ernstig incident overeenkomstig artikel 73.

• art. 17(1)(b)–(f), (j)–(m)
  De overige negen onderdelen

  Ontwerp en ontwerpcontrole; ontwikkeling, kwaliteitscontrole en kwaliteitsborging; onderzoeks-, test- en validatieprocedures; technische specificaties en normen; gegevensbeheer; communicatie met autoriteiten, aangemelde instanties en anderen; registratie; middelenbeheer; een verantwoordingskader.

• art. 17(2)
  Evenredig aan de omvang, niet aan de bescherming

  De uitvoering moet evenredig zijn aan de omvang van de organisatie van de aanbieder, met name voor een mkb-bedrijf, met inbegrip van een start-up, of een kleine midcaponderneming. Aanbieders moeten in elk geval de mate van nauwkeurigheid en het beschermingsniveau naleven die nodig zijn om te zorgen dat hun hoogrisico-AI-systemen aan de verordening voldoen.

Artikel 17 geldt alleen voor aanbieders van AI-systemen met een hoog risico. De rijen hieronder tonen waar fintech-AI een hoog risico wordt en welke regels voor financiële instellingen gelden.

• ‘Fintech’ is geen categorie van de verordening

  De verordening kent geen categorie ‘fintech’. Deze website gebruikt het woord voor AI die via twee aanknopingspunten in bijlage III onder de verordening valt: punt 5, b) (kredietwaardigheid en kredietscore van natuurlijke personen) en punt 5, c) (risicobeoordeling en prijsstelling bij levens- en ziektekostenverzekeringen). Punt 5, b) sluit fraudedetectie uit. Bijlage III, punt 5, noemt geen controles op witwassen, algoritmische handel, robotadvies, andere verzekeringen dan levens- en ziektekostenverzekeringen of de kredietbeoordeling van rechtspersonen. Een systeem kan toch een hoog risico zijn op grond van een ander punt van bijlage III.

• Bijlage III, punt 5, b) en c)

  Bijlage III, punt 5, b), omvat AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van de kredietwaardigheid van natuurlijke personen of voor het vaststellen van hun kredietscore, met uitzondering van AI-systemen die gebruikt worden om financiële fraude op te sporen. Punt 5, c), omvat AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen in het geval van levens- en ziektekostenverzekeringen. Op grond van artikel 6, lid 2 worden de in bijlage III bedoelde AI-systemen als systemen met een hoog risico beschouwd. Een aanbieder die van mening is dat zo’n systeem op grond van artikel 6, lid 3 geen hoog risico vormt, moet zijn beoordeling documenteren voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld, en het registreren overeenkomstig artikel 49, lid 2. De afwijking geldt nooit wanneer het systeem profilering van natuurlijke personen uitvoert. Profilering is profilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679 (artikel 3, punt 52); of een bepaald scoresysteem profilering uitvoert, beantwoordt de verordening niet.

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt het AI-systeem, of laat het ontwikkelen, en brengt het onder eigen naam in de handel of stelt het onder eigen naam in gebruik (artikel 3, punt 3); dat kan een softwareleverancier zijn of een bank die een systeem voor eigen gebruik ontwikkelt. Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan dat een systeem onder eigen gezag gebruikt, zoals een bank, verzekeraar of kredietverstrekker, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een gebruiksverantwoordelijke wordt aanbieder als hij zijn naam of merk zet op een hoogrisicosysteem dat al in de handel is, een substantiële wijziging aanbrengt waardoor het een hoogrisicosysteem blijft, of het beoogde doel van een systeem dat geen hoog risico had zo wijzigt dat het een hoogrisicosysteem wordt (artikel 25, lid 1).

• Data

  Bijlage III, punt 5, b) en c), geldt vanaf 2 december 2027 (artikel 113, lid 3, punt c)). Een systeem dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp daarna aanzienlijk wijzigt; in elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111, lid 2).

• Boetes

  Overtredingen van de verplichtingen van aanbieders (artikel 16) en gebruiksverantwoordelijken (artikel 26) kunnen worden beboet met maximaal 15 miljoen EUR of, voor een onderneming, maximaal 3 % van haar totale wereldwijde jaaromzet in het voorgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4). Voor mkb-bedrijven, met inbegrip van start-ups, geldt het lagere bedrag als maximum voor elke boete (artikel 99, lid 6). Hetzelfde maximum geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast over de mate waarin administratieve boetes kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties en -organen (artikel 99, lid 8).

• Grenzen van het toepassingsgebied van de verordening

  De verordening is van toepassing op aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, of AI-modellen voor algemene doeleinden in de Unie in de handel brengen, ongeacht waar zij zijn gevestigd (artikel 2, lid 1, punt a)), en op aanbieders en gebruiksverantwoordelijken in een derde land wanneer de output van het AI-systeem in de Unie wordt gebruikt (punt c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet geen afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid; zij is evenmin van toepassing op AI-systemen die uitsluitend voor militaire doeleinden, defensiedoeleinden of doeleinden van nationale veiligheid worden gebruikt (artikel 2, lid 3).

• Financiële instellingen: de regel over interne governance (artikel 17, lid 4)

  Voor aanbieders die financiële instellingen zijn en op grond van het Unierecht inzake financiële diensten eisen moeten naleven met betrekking tot hun interne governance, regelingen of procedures, wordt de verplichting om een kwaliteitsbeheersysteem in te voeren geacht te zijn vervuld door naleving van de regels inzake interne governance, regelingen of procedures op grond van dat recht (artikel 17, lid 4). Uitgezonderd zijn artikel 17, lid 1, punten g), h) en i): het risicobeheersysteem (artikel 9), het systeem voor monitoring na het in de handel brengen (artikel 72) en de procedures voor de melding van een ernstig incident (artikel 73). Met de in artikel 40 bedoelde geharmoniseerde normen wordt rekening gehouden. De verordening definieert ‘financiële instelling’ niet en noemt het betrokken Unierecht inzake financiële diensten niet.

• Sectorale kwaliteitsbeheersystemen

  Aanbieders die op grond van sectoraal Unierecht verplichtingen hebben inzake kwaliteitsbeheersystemen of een gelijkwaardige functie, mogen de onderdelen van artikel 17, lid 1, opnemen in het kwaliteitsbeheersysteem op grond van dat recht (artikel 17, lid 3).

• Documentatie, logs en monitoring in het financiële recht

  Aanbieders die financiële instellingen zijn en aan dergelijke eisen inzake interne governance moeten voldoen, houden de technische documentatie bij als onderdeel van de documentatie die op grond van het desbetreffende Unierecht inzake financiële diensten wordt bijgehouden (artikel 18, lid 3) en bewaren de automatisch gegenereerde logs op dezelfde manier (artikel 19, lid 2). Artikel 72, lid 4, tweede alinea, breidt de mogelijkheid om elementen van de monitoring na het in de handel brengen op te nemen in bestaande systemen en plannen uit tot systemen uit bijlage III, punt 5, van dergelijke financiële instellingen; welke bestaande systemen uit het financiële recht daarvoor in aanmerking komen, zegt de verordening niet.

• Welke autoriteit bevoegd is

  Voor AI-systemen met een hoog risico die in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt door financiële instellingen die onder het Unierecht inzake financiële diensten vallen, is de markttoezichtautoriteit de relevante nationale autoriteit die krachtens die wetgeving verantwoordelijk is voor het financiële toezicht op die instellingen, voor zover het in de handel brengen, in gebruik stellen of gebruik van het systeem rechtstreeks verband houdt met de verlening van die financiële diensten (artikel 74, lid 6). In passende omstandigheden en mits coördinatie is gewaarborgd, kan de lidstaat een andere relevante autoriteit aanwijzen (artikel 74, lid 7).

• Geen genoemde norm, geen koppeling met het financiële recht

  De verordening noemt geen norm of certificering voor het kwaliteitsbeheersysteem en koppelt de governanceregels van het financiële recht niet aan de 13 onderdelen. Artikel 17, lid 4 zegt alleen dat met de in artikel 40 bedoelde geharmoniseerde normen rekening wordt gehouden.

• Bewaring van tien jaar staat in artikel 18

  De plicht om de documentatie van het kwaliteitsbeheersysteem tien jaar na het in de handel brengen of in gebruik stellen van het systeem te bewaren staat in artikel 18, lid 1, niet in artikel 17.

• Voorbeeld: een tabel met hiaten

  Voorbeeld, geen eis van de verordening: een bank die aanbieder is, zou de 13 onderdelen in een tabel kunnen zetten, per onderdeel het document over interne governance kunnen aangeven dat het dekt, en de onderdelen g), h) en i) als apart werk kunnen behandelen, omdat artikel 17, lid 4, ze niet dekt.

• Artikel 17 AI-verordening: kwaliteitsbeheersysteem

  Artikel 17 voor alle sectoren: de 13 onderdelen, evenredigheid en boetes.

• AI-verordening fintech: nalevingsgids

  Het fintech-overzicht: hoe de verordening AI voor krediet en verzekeringen bereikt.

• Artikel 15 voor fintech-AI: nauwkeurigheid, robuustheid en cyberbeveiliging

  Fintech-AI en artikel 15: nauwkeurigheid, robuustheid, cyberbeveiliging, data en rollen.

• Bijlage III uitgediept: alle 8 hoog-risico categorieën

  De acht gebieden van bijlage III, waaronder kredietscoring en levens- en ziektekostenverzekeringen.