Artikel 9 voor fintech-AI: systeem voor risicobeheer

Artikel 9 stelt verplichtingen voor de aanbieder vast. Het bevat voor fintech of een andere sector geen risicolijst, maatstafwaarde of drempel.

• art. 9(1)
  Vaststellen, uitvoeren, documenteren en in stand houden

  Met betrekking tot AI-systemen met een hoog risico moet een systeem voor risicobeheer worden vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.

• art. 9(2)
  Een doorlopend proces gedurende de hele levensduur

  Het systeem is een tijdens de gehele levensduur doorlopend en gepland iteratief proces, dat periodieke systematische toetsing en actualisering vereist. Het omvat vier stappen. Eerst: de bekende en redelijkerwijs te voorziene risico’s voor de gezondheid, veiligheid of grondrechten vaststellen en analyseren wanneer het systeem overeenkomstig het beoogde doel wordt gebruikt. Ten tweede: de risico’s inschatten en evalueren bij gebruik overeenkomstig het beoogde doel en bij redelijkerwijs te voorzien misbruik. Ten derde: andere risico’s evalueren op basis van data uit de monitoring na het in de handel brengen (artikel 72). Ten vierde: gepaste en gerichte risicobeheersmaatregelen vaststellen.

• art. 9(3)
  Alleen risico’s die ontwerp of informatie kunnen aanpakken

  Onder de risico’s vallen uitsluitend risico’s die redelijkerwijs kunnen worden beperkt of weggenomen via het ontwikkelen of ontwerpen van het systeem of de verstrekking van adequate technische informatie.

• art. 9(5)
  Het restrisico moet aanvaardbaar worden geacht

  Het relevante restrisico in verband met elk gevaar en het totale restrisico moeten aanvaardbaar worden geacht. Risico’s worden, voor zover technisch haalbaar, weggenomen of beperkt door een adequaat ontwerp en adequate ontwikkeling. Waar passend worden risico’s die niet kunnen worden weggenomen, aangepakt met adequate maatregelen voor beperking en controle. Gebruiksverantwoordelijken ontvangen de op grond van artikel 13 vereiste informatie en, waar passend, opleiding.

• art. 9(6)–(8)
  Testen aan de hand van vooraf vastgestelde maatstaven

  AI-systemen met een hoog risico worden getest om de passendste risicobeheersmaatregelen vast te stellen. De tests zorgen ervoor dat de systemen consistent presteren ten aanzien van het beoogde doel en in overeenstemming zijn met de eisen van afdeling 2. Er wordt getest zoals passend in de loop van het ontwikkelingsproces en in ieder geval voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Er wordt getest aan de hand van vooraf vastgestelde beoordelingsmaatstaven en probabilistische drempels die passend zijn voor het beoogde doel. De testprocedures kunnen onder meer bestaan in testen onder reële omstandigheden (artikel 60).

• art. 9(9)
  Personen jonger dan 18 jaar en andere kwetsbare groepen

  Aanbieders moeten rekening houden met de vraag of het beoogde doel van het systeem waarschijnlijk negatieve gevolgen heeft voor personen jonger dan 18 jaar en, in voorkomend geval, voor andere kwetsbare groepen.

Artikel 9 geldt alleen voor AI-systemen met een hoog risico. De rijen hieronder laten zien waar fintech-AI een hoog risico krijgt.

• Fintech is geen categorie in de verordening

  De verordening kent geen categorie ‘fintech’. Deze website gebruikt het woord voor AI die via twee toepassingen in bijlage III, punt 5, onder de verordening valt. Punt 5, b), betreft AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van de kredietwaardigheid van natuurlijke personen of voor het vaststellen van hun kredietscore. Daarop geldt een uitzondering voor AI-systemen die gebruikt worden om financiële fraude op te sporen. Punt 5, c), betreft AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen in het geval van levens- en ziektekostenverzekeringen. Punt 5 noemt geen fraudedetectie, controles op witwassen of ‘ken uw klant’-controles, algoritmische handel, roboadvies, niet-levensverzekeringen, schadeafhandeling of kredietbeslissingen over rechtspersonen. Een systeem voor een van deze toepassingen is alleen een AI-systeem met een hoog risico als een ander punt van bijlage III of bijlage I het omvat.

• Artikel 6, lid 3, kan een systeem uit bijlage III halen

  Een systeem onder punt 5, b) of 5, c), is een AI-systeem met een hoog risico op grond van artikel 6, lid 2. Volgens artikel 6, lid 3, is het geen AI-systeem met een hoog risico als het geen significant risico op schade voor de gezondheid, veiligheid of grondrechten inhoudt. Daaronder valt dat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt. De verordening past deze uitzondering toe wanneer aan een van de volgende voorwaarden is voldaan (artikel 6, lid 3, punten a) tot en met d)). Het systeem is bedoeld om een beperkte procedurele taak uit te voeren. Of het is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren. Of het is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden. Of het is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen. Hoe deze voorwaarden zich verhouden tot de toets van het significante risico, is een vraag voor een jurist. Het systeem is altijd een AI-systeem met een hoog risico als het profilering van natuurlijke personen uitvoert. Profilering is gedefinieerd in artikel 4, punt 4, AVG (artikel 3, punt 52). Of een bepaald scoring- of prijsstellingssysteem dat doet, is ook een vraag voor een jurist. Een aanbieder die zich op de uitzondering beroept, documenteert zijn beoordeling voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Hij moet het systeem ook registreren (artikel 6, lid 4, artikel 49, lid 2).

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt een AI-systeem, of laat het ontwikkelen. Hij brengt het onder eigen naam of merk in de handel of stelt het onder eigen naam of merk in gebruik (artikel 3, punt 3). Onder in gebruik stellen valt ook de levering voor eigen gebruik van de aanbieder (artikel 3, punt 11). Een bank of verzekeraar die een systeem ontwikkelt en onder eigen naam in gebruik stelt, is dus een aanbieder. Een bank of verzekeraar die een systeem onder eigen verantwoordelijkheid gebruikt, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een gebruiksverantwoordelijke wordt in drie gevallen de aanbieder. Hij zet zijn naam of merk op een AI-systeem met een hoog risico dat al in de handel is gebracht, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Hij brengt een substantiële wijziging aan in zo’n systeem, waardoor het een AI-systeem met een hoog risico blijft. Of hij wijzigt het beoogde doel van een niet als hoog risico geclassificeerd systeem, zodat het een AI-systeem met een hoog risico wordt (artikel 25, lid 1). De aanbieder die het systeem als eerste in de handel heeft gebracht of in gebruik heeft gesteld, wordt dan niet langer als aanbieder van dat specifieke systeem beschouwd en moet nauw samenwerken met de nieuwe aanbieder (artikel 25, lid 2). Dit geldt niet als de oorspronkelijke aanbieder duidelijk heeft aangegeven dat zijn systeem niet mag worden gewijzigd in een AI-systeem met een hoog risico.

• Financiële instellingen: wat zij mogen combineren

  Sommige aanbieders zijn op grond van ander relevant Unierecht onderworpen aan eisen met betrekking tot interne risicobeheerprocessen. Voor hen kunnen de aspecten in artikel 9, leden 1 tot en met 9, deel uitmaken van de risicobeheerprocedures op grond van dat recht, of ermee worden gecombineerd (artikel 9, lid 10). Bij aanbieders die financiële instellingen zijn, geldt het volgende. Als zij onderworpen zijn aan eisen inzake interne governance uit hoofde van het Unierecht inzake financiële diensten, wordt de verplichting een systeem voor kwaliteitsbeheer in te voeren geacht te zijn vervuld door te voldoen aan die regels. De uitzonderingen zijn het systeem voor risicobeheer, de monitoring na het in de handel brengen en de melding van ernstige incidenten (artikel 17, lid 4, met verwijzing naar artikel 17, lid 1, punten g), h) en i)). De verordening noemt geen specifieke wetgeving inzake financiële diensten.

• Datums

  De eisen voor deze toepassingen uit bijlage III gelden vanaf 2 december 2027 (artikel 113, derde alinea, punt c), i)). Een systeem dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp daarna aanzienlijk wordt gewijzigd. In elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111, lid 2).

• Boetes

  Aanbieders zorgen ervoor dat hun AI-systemen met een hoog risico voldoen aan de eisen van afdeling 2 van hoofdstuk III. Daartoe behoren de artikelen 9 tot en met 15 (artikel 16, punt a)). Een inbreuk op de verplichtingen van aanbieders in artikel 16 of van gebruiksverantwoordelijken in artikel 26 kan worden beboet. De boete bedraagt maximaal 15 miljoen EUR of, voor een onderneming, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet in het voorafgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4, punten a) en e)). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6). Hetzelfde geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast betreffende de vraag in hoeverre administratieve geldboeten kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties of -organen (artikel 99, lid 8).

• Bereik en grenzen van de verordening

  De verordening is van toepassing op aanbieders en gebruiksverantwoordelijken die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt (artikel 2, lid 1, punt c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen, en doet geen afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid (artikel 2, lid 3). De verordening is niet van toepassing op AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel (artikel 2, lid 6). Zij is niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten voordat een systeem in de handel wordt gebracht of in gebruik wordt gesteld. Testen onder reële omstandigheden vallen niet onder die uitsluiting (artikel 2, lid 8). AI-systemen die worden vrijgegeven onder vrije en opensourcelicenties vallen buiten de verordening. Die uitsluiting geldt niet voor AI-systemen die als systeem met een hoog risico in de handel worden gebracht of in gebruik worden gesteld, of die onder artikel 5 of 50 vallen (artikel 2, lid 12).

• Geen risicolijst of testwaarden voor fintech

  Artikel 9 noemt geen risico’s, maatstaven of drempelwaarden voor kredietscoring of verzekeringsprijsstelling. De aanbieder stelt de risico’s van zijn eigen systeem vast en bepaalt de maatstaven en drempels die passen bij het beoogde doel (artikel 9, leden 2 en 8). De verordening zelf noemt geen geharmoniseerde norm. AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de eisen van afdeling 2, voor zover die normen die eisen dekken (artikel 40, lid 1). De Commissie ontwikkelt richtsnoeren over de praktische toepassing van de vereisten en verplichtingen in de artikelen 8 tot en met 15 en de artikelen 25 en 26 (artikel 96, lid 1, punt a)).

• Voorbeeld: risico’s voor een kredietscoresysteem

  Voorbeeld, geen eis van de verordening: de aanbieder van een kredietscoresysteem zou het risico kunnen benoemen dat aanvragers uit één groep systematisch lager worden gescoord. Hij zou op dat risico kunnen testen aan de hand van een maatstaf die vóór het testen is vastgesteld, en het resultaat kunnen vastleggen.

• Voorbeeld: risico’s voor verzekeringsprijsstelling

  Voorbeeld, geen eis van de verordening: de aanbieder van een systeem voor verzekeringsprijsstelling zou zich kunnen afvragen of zijn prijzen kwetsbare groepen benadelen (artikel 9, lid 9). Hij zou dan kunnen besluiten welke ontwerpwijziging of gebruiksaanwijzing dat risico zou beperken.

• Artikel 9: systeem voor risicobeheer voor hoogrisico-AI

  Artikel 9 voor alle sectoren: de eisen, datums en boetes.

• AI-verordening fintech: nalevingsgids

  Het fintech-overzicht: hoe de verordening AI voor kredietscoring en verzekeringen bereikt.

• Artikel 10 voor fintech-AI: data en datagovernance

  Fintech-AI en artikel 10: datasets, beoordeling op vooringenomenheid en bijzondere categorieën persoonsgegevens.

• Artikel 6: classificatie van hoogrisico-AI-systemen

  Hoe artikel 6 AI-systemen met een hoog risico classificeert, inclusief de uitzondering van artikel 6, lid 3.