Artikel 26 in fintech: verplichtingen van gebruiksverantwoordelijken

Artikel 26 stelt deze verplichtingen aan gebruiksverantwoordelijken van hoogrisico-AI-systemen.

• art. 26(1)
  Gebruiken volgens de gebruiksaanwijzing

  Passende technische en organisatorische maatregelen nemen om het systeem te gebruiken in overeenstemming met de gebruiksaanwijzing.

• art. 26(2)
  Menselijk toezicht toewijzen

  Het menselijk toezicht opdragen aan natuurlijke personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken en de nodige ondersteuning krijgen.

• art. 26(4)
  Invoergegevens controleren

  Voor zover de gebruiksverantwoordelijke controle heeft over de invoergegevens, ervoor zorgen dat deze relevant en voldoende representatief zijn voor het beoogde doel.

• art. 26(5)
  Monitoren, informeren, opschorten

  De werking monitoren op basis van de gebruiksaanwijzing en in voorkomend geval aanbieders informeren. Als het gebruik overeenkomstig de gebruiksaanwijzing een risico in de zin van artikel 79, lid 1 kan opleveren, zonder onnodige vertraging de aanbieder of distributeur en de markttoezichtautoriteit informeren en het gebruik opschorten. Na een ernstig incident onmiddellijk eerst de aanbieder informeren, daarna de importeur of distributeur en de markttoezichtautoriteiten. Als de aanbieder niet bereikbaar is, is artikel 73 van overeenkomstige toepassing.

• art. 26(6)
  Logs bewaren

  De door het systeem automatisch gegenereerde logs bewaren, voor zover ze onder de controle van de gebruiksverantwoordelijke vallen, gedurende een periode die past bij het beoogde doel en ten minste zes maanden, tenzij het toepasselijke Unie- of nationale recht, met name inzake de bescherming van persoonsgegevens, anders bepaalt.

• art. 26(7)
  Werknemers informeren

  Werkgevers moeten werknemersvertegenwoordigers en de betrokken werknemers, voordat ze een hoogrisicosysteem op de werkplek in gebruik stellen of gebruiken, informeren dat zij aan het gebruik ervan worden blootgesteld. Deze informatie wordt, waar van toepassing, verstrekt overeenkomstig de regels en procedures van het Unie- en nationale recht en de nationale praktijk inzake informatie aan werknemers en hun vertegenwoordigers.

• art. 26(8)
  Overheidsinstanties registreren zich

  Gebruiksverantwoordelijken die overheidsinstanties of instellingen, organen of instanties van de Unie zijn, moeten voldoen aan de registratieverplichtingen van artikel 49, die systemen uit bijlage III betreffen. Ze mogen geen systeem gebruiken dat niet in de EU-databank is geregistreerd.

• art. 26(9)
  Gegevensbeschermingseffectbeoordeling

  In voorkomend geval de door de aanbieder krachtens artikel 13 verstrekte informatie gebruiken voor de gegevensbeschermingseffectbeoordeling krachtens artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680.

• art. 26(11)
  Personen informeren over besluiten die hen betreffen

  Bij systemen uit bijlage III die besluiten over natuurlijke personen nemen of daarbij helpen, die personen informeren dat het systeem op hen wordt gebruikt, onverminderd artikel 50.

• art. 26(12)
  Met autoriteiten samenwerken

  Samenwerken met de bevoegde autoriteiten bij elke actie die zij ondernemen met betrekking tot het hoogrisicosysteem.

Artikel 26 geldt alleen voor gebruiksverantwoordelijken van AI-systemen met een hoog risico. De rijen hieronder tonen waar fintech-AI een hoog risico wordt en welke regels voor financiële instellingen gelden.

• ‘Fintech’ is geen categorie van de verordening

  De verordening kent geen categorie ‘fintech’. Deze website gebruikt het woord voor AI die via twee aanknopingspunten in bijlage III onder de verordening valt: punt 5, b) (kredietwaardigheid en kredietscore van natuurlijke personen) en punt 5, c) (risicobeoordeling en prijsstelling bij levens- en ziektekostenverzekeringen). Punt 5, b) sluit fraudedetectie uit. Bijlage III, punt 5, noemt geen controles op witwassen, algoritmische handel, robotadvies, andere verzekeringen dan levens- en ziektekostenverzekeringen of de kredietbeoordeling van rechtspersonen. Een systeem kan toch een hoog risico zijn op grond van een ander punt van bijlage III.

• Bijlage III, punt 5, b) en c)

  Bijlage III, punt 5, b), omvat AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van de kredietwaardigheid van natuurlijke personen of voor het vaststellen van hun kredietscore, met uitzondering van AI-systemen die gebruikt worden om financiële fraude op te sporen. Punt 5, c), omvat AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen in het geval van levens- en ziektekostenverzekeringen. Op grond van artikel 6, lid 2 worden de in bijlage III bedoelde AI-systemen als systemen met een hoog risico beschouwd. Een aanbieder die van mening is dat zo’n systeem op grond van artikel 6, lid 3 geen hoog risico vormt, moet zijn beoordeling documenteren voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld, en het registreren overeenkomstig artikel 49, lid 2. De afwijking geldt nooit wanneer het systeem profilering van natuurlijke personen uitvoert. Profilering is profilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679 (artikel 3, punt 52); of een bepaald scoresysteem profilering uitvoert, beantwoordt de verordening niet.

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt het AI-systeem, of laat het ontwikkelen, en brengt het onder eigen naam in de handel of stelt het onder eigen naam in gebruik (artikel 3, punt 3); dat kan een softwareleverancier zijn of een bank die een systeem voor eigen gebruik ontwikkelt. Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan dat een systeem onder eigen gezag gebruikt, zoals een bank, verzekeraar of kredietverstrekker, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een gebruiksverantwoordelijke wordt aanbieder als hij zijn naam of merk zet op een hoogrisicosysteem dat al in de handel is, een substantiële wijziging aanbrengt waardoor het een hoogrisicosysteem blijft, of het beoogde doel van een systeem dat geen hoog risico had zo wijzigt dat het een hoogrisicosysteem wordt (artikel 25, lid 1). Natuurlijke personen die een systeem gebruiken in het kader van een louter persoonlijke, niet-professionele activiteit zijn niet gebonden als gebruiksverantwoordelijke (artikel 2, lid 10). Het aanbrengen van de eigen naam of het eigen merk doet geen afbreuk aan contractuele afspraken waarin de verplichtingen anders zijn toegewezen (artikel 25, lid 1, punt a)); de oorspronkelijke aanbieder wordt dan niet meer als aanbieder van dat systeem beschouwd en werkt nauw samen met de nieuwe aanbieder (artikel 25, lid 2).

• Data

  Bijlage III, punt 5, b) en c), geldt vanaf 2 december 2027 (artikel 113, lid 3, punt c)). Een systeem dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp daarna aanzienlijk wijzigt; in elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111, lid 2).

• Boetes

  Overtredingen van de verplichtingen van aanbieders (artikel 16) en gebruiksverantwoordelijken (artikel 26) kunnen worden beboet met maximaal 15 miljoen EUR of, voor een onderneming, maximaal 3 % van haar totale wereldwijde jaaromzet in het voorgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4). Voor mkb-bedrijven, met inbegrip van start-ups, geldt het lagere bedrag als maximum voor elke boete (artikel 99, lid 6). Hetzelfde maximum geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast over de mate waarin administratieve boetes kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties en -organen (artikel 99, lid 8). De artikelen 27, 49 en 86 staan niet in artikel 99, leden 3 tot en met 5; de lidstaten stellen de regels vast voor sancties die van toepassing zijn op inbreuken op de verordening door operatoren (artikel 99, lid 1).

• Grenzen van het toepassingsgebied van de verordening

  De verordening is van toepassing op aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, of AI-modellen voor algemene doeleinden in de Unie in de handel brengen, ongeacht waar zij zijn gevestigd (artikel 2, lid 1, punt a)), en op aanbieders en gebruiksverantwoordelijken in een derde land wanneer de output van het AI-systeem in de Unie wordt gebruikt (punt c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet geen afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid; zij is evenmin van toepassing op AI-systemen die uitsluitend voor militaire doeleinden, defensiedoeleinden of doeleinden van nationale veiligheid worden gebruikt (artikel 2, lid 3).

• Financiële instellingen: monitoring en logs (artikel 26, leden 5 en 6)

  Voor gebruiksverantwoordelijken die financiële instellingen zijn en op grond van het Unierecht inzake financiële diensten eisen moeten naleven met betrekking tot hun interne governance, regelingen of procedures, wordt de monitoringverplichting geacht te zijn vervuld door naleving van de regels inzake interne governance, regelingen, procedures en mechanismen op grond van de desbetreffende wetgeving inzake financiële diensten (artikel 26, lid 5, tweede alinea). Deze gebruiksverantwoordelijken bewaren de logs als onderdeel van de documentatie die op grond van het desbetreffende Unierecht inzake financiële diensten wordt bijgehouden (artikel 26, lid 6, tweede alinea). De verordening noemt het betrokken Unierecht inzake financiële diensten niet.

• Beoordeling van de gevolgen voor de grondrechten (artikel 27)

  Artikel 27, lid 1: vóór de ingebruikname van een AI-systeem met een hoog risico als bedoeld in artikel 6, lid 2, met uitzondering van systemen die bedoeld zijn voor gebruik op het in punt 2 van bijlage III genoemde gebied, moeten gebruiksverantwoordelijken die publiekrechtelijke organen zijn of particuliere entiteiten die openbare diensten verlenen, en gebruiksverantwoordelijken van systemen als bedoeld in bijlage III, punt 5, b) en c), beoordelen welk effect het gebruik van het systeem op de grondrechten kan hebben. Voor punt 5, b) en c), noemt de tekst de gebruiksverantwoordelijken van die systemen zonder hen tot publieke instanties te beperken. De verplichting geldt voor het eerste gebruik; in vergelijkbare gevallen mag de gebruiksverantwoordelijke zich baseren op eerdere beoordelingen (artikel 27, lid 2). De gebruiksverantwoordelijke stelt de markttoezichtautoriteit op de hoogte van de resultaten (artikel 27, lid 3) en mag verwijzen naar een gegevensbeschermingseffectbeoordeling (artikel 27, lid 4).

• Uitleg over besluiten (artikel 86) en informatie (artikel 26, lid 11)

  Op grond van artikel 26, lid 11 moeten gebruiksverantwoordelijken van hoogrisicosystemen uit bijlage III die besluiten over natuurlijke personen nemen of daarbij helpen, die personen informeren dat zij worden blootgesteld aan het gebruik van het systeem. Daarnaast heeft een getroffen persoon op wie een besluit van toepassing is dat de gebruiksverantwoordelijke heeft genomen op basis van de output van een hoogrisicosysteem uit bijlage III (met uitzondering van punt 2), en dat rechtsgevolgen heeft of hem op vergelijkbare wijze aanmerkelijk treft op een manier die hij als nadelig voor zijn gezondheid, veiligheid of grondrechten beschouwt, het recht om van de gebruiksverantwoordelijke duidelijke en zinvolle uitleg te krijgen over de rol van het AI-systeem in de besluitvormingsprocedure en over de voornaamste elementen van het genomen besluit (artikel 86, lid 1). Dit geldt alleen voor zover dat recht niet anderszins in het Unierecht is vastgelegd (artikel 86, lid 3). Lid 1 is niet van toepassing wanneer uitzonderingen of beperkingen voortvloeien uit het Unierecht of het nationale recht, in overeenstemming met het Unierecht (artikel 86, lid 2).

• Welke autoriteit bevoegd is

  Voor AI-systemen met een hoog risico die in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt door financiële instellingen die onder het Unierecht inzake financiële diensten vallen, is de markttoezichtautoriteit de relevante nationale autoriteit die krachtens die wetgeving verantwoordelijk is voor het financiële toezicht op die instellingen, voor zover het in de handel brengen, in gebruik stellen of gebruik van het systeem rechtstreeks verband houdt met de verlening van die financiële diensten (artikel 74, lid 6). In passende omstandigheden en mits coördinatie is gewaarborgd, kan de lidstaat een andere relevante autoriteit aanwijzen (artikel 74, lid 7).

• Geen aantallen voor personeel of opleiding

  Artikel 26 stelt geen personeelssterkte, opleidingsuren of kwalificatie vast voor de mensen die toezicht houden op een krediet- of verzekeringssysteem. Het eist de nodige competentie, opleiding, bevoegdheid en ondersteuning. De Commissie ontwikkelt richtsnoeren voor de toepassing van de eisen en verplichtingen in de artikelen 8 tot en met 15 en 25 en 26 (artikel 96, lid 1, punt a)).

• Logs en bewaartermijnen in het financiële recht

  Artikel 26, lid 6, stelt ten minste zes maanden vast voor logs onder controle van de gebruiksverantwoordelijke en wijkt voor ander Unierecht of nationaal recht, met name over persoonsgegevens. De verordening noemt geen bewaartermijn uit het recht inzake financiële diensten.

• Ontwerpkeuze: toezichtsrollen

  Een gebruikelijke ontwerpkeuze, geen eis van de verordening: benoem de personen die toezicht houden naar functie in de krediet- of acceptatieprocedures en leg hun opleiding vast.

• Menselijke toetsing van elk besluit

  Artikel 14, lid 4, en artikel 26, lid 2, gaan over menselijk toezicht op het systeem. Geen van beide zegt dat een persoon elk afzonderlijk besluit moet toetsen. Of ander recht, bijvoorbeeld over geautomatiseerde individuele besluitvorming, dat eist, beantwoordt de verordening niet.

• Artikel 26: verplichtingen van gebruiksverantwoordelijken van hoogrisico-AI

  Artikel 26 voor alle sectoren: wie gebruiksverantwoordelijke is, de verplichtingen, artikel 27 en boetes.

• AI-verordening fintech: nalevingsgids

  Het fintech-overzicht: hoe de verordening AI voor krediet en verzekeringen bereikt.

• Artikel 17 voor fintech-AI: kwaliteitsbeheersysteem

  Fintech-AI en artikel 17: de 13 onderdelen en de regel voor financiële instellingen.

• Artikel 27: effectbeoordeling grondrechten (FRIA)

  Artikel 27 voor alle sectoren: wie het effect op de grondrechten moet beoordelen en wat de beoordeling omvat.