Artikel 15 voor fintech-AI: nauwkeurigheid, robuustheid en cyberbeveiliging

Artikel 15 stelt ontwerpeisen aan de aanbieder. Het noemt voor geen enkele sector een nauwkeurigheidswaarde.

• art. 15(1)
  Passend niveau, gedurende de hele levenscyclus

  AI-systemen met een hoog risico moeten zo worden ontworpen en ontwikkeld dat ze een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bereiken en in dat opzicht gedurende hun hele levenscyclus consistent presteren.

• art. 15(2)
  Benchmarks moedigt de Commissie aan

  De Commissie moedigt in voorkomend geval de ontwikkeling van benchmarks en meetmethodologieën aan, in samenwerking met belanghebbenden zoals metrologie- en benchmarkingautoriteiten. Dat is geen verplichting voor de aanbieder.

• art. 15(3)
  Niveaus en maatstaven vermelden

  De nauwkeurigheidsniveaus en de relevante nauwkeurigheidsmaatstaven moeten worden vermeld in de bijgevoegde gebruiksaanwijzingen.

• art. 15(4)
  Weerbaarheid tegen fouten, en feedbackloops

  Systemen moeten zo bestand mogelijk zijn tegen fouten, storingen of inconsistenties in het systeem of de omgeving waarin het werkt, met name door de interactie met natuurlijke personen of andere systemen. Er moeten technische en organisatorische maatregelen worden genomen; technische redundantie, back-up- of failsafeplannen worden als opties genoemd. Een systeem dat na het in de handel brengen blijft leren, moet zo worden ontwikkeld dat het risico dat bevooroordeelde outputs invloed hebben op toekomstige input (feedbackloops) wordt weggenomen of zo veel mogelijk wordt beperkt.

• art. 15(5)
  Cyberbeveiliging tegen onbevoegde derden

  Systemen moeten bestand zijn tegen pogingen van onbevoegde derden om het gebruik, de outputs of de prestaties te wijzigen door kwetsbaarheden te misbruiken. De technische oplossingen omvatten in voorkomend geval maatregelen tegen datavergiftiging, modelvergiftiging, adversarial examples of modelontwijking, aanvallen op vertrouwelijkheid en modelgebreken.

Artikel 15 geldt alleen voor AI-systemen met een hoog risico. De rijen hieronder tonen waar fintech-AI een hoog risico wordt.

• ‘Fintech’ is geen categorie van de verordening

  De verordening kent geen categorie ‘fintech’. Deze website gebruikt het woord voor AI die via twee aanknopingspunten in bijlage III onder de verordening valt: punt 5, b) (kredietwaardigheid en kredietscore van natuurlijke personen) en punt 5, c) (risicobeoordeling en prijsstelling bij levens- en ziektekostenverzekeringen). Punt 5, b) sluit fraudedetectie uit. Bijlage III, punt 5, noemt geen controles op witwassen, algoritmische handel, robotadvies, andere verzekeringen dan levens- en ziektekostenverzekeringen of de kredietbeoordeling van rechtspersonen. Een systeem kan toch een hoog risico zijn op grond van een ander punt van bijlage III.

• Bijlage III, punt 5, b) en c)

  Bijlage III, punt 5, b), omvat AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van de kredietwaardigheid van natuurlijke personen of voor het vaststellen van hun kredietscore, met uitzondering van AI-systemen die gebruikt worden om financiële fraude op te sporen. Punt 5, c), omvat AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen in het geval van levens- en ziektekostenverzekeringen. Op grond van artikel 6, lid 2 worden de in bijlage III bedoelde AI-systemen als systemen met een hoog risico beschouwd. Een aanbieder die van mening is dat zo’n systeem op grond van artikel 6, lid 3 geen hoog risico vormt, moet zijn beoordeling documenteren voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld, en het registreren overeenkomstig artikel 49, lid 2. De afwijking geldt nooit wanneer het systeem profilering van natuurlijke personen uitvoert. Profilering is profilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679 (artikel 3, punt 52); of een bepaald scoresysteem profilering uitvoert, beantwoordt de verordening niet.

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt het AI-systeem, of laat het ontwikkelen, en brengt het onder eigen naam in de handel of stelt het onder eigen naam in gebruik (artikel 3, punt 3); dat kan een softwareleverancier zijn of een bank die een systeem voor eigen gebruik ontwikkelt. Een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan dat een systeem onder eigen gezag gebruikt, zoals een bank, verzekeraar of kredietverstrekker, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een gebruiksverantwoordelijke wordt aanbieder als hij zijn naam of merk zet op een hoogrisicosysteem dat al in de handel is, een substantiële wijziging aanbrengt waardoor het een hoogrisicosysteem blijft, of het beoogde doel van een systeem dat geen hoog risico had zo wijzigt dat het een hoogrisicosysteem wordt (artikel 25, lid 1).

• Data

  Bijlage III, punt 5, b) en c), geldt vanaf 2 december 2027 (artikel 113, lid 3, punt c)). Een systeem dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp daarna aanzienlijk wijzigt; in elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111, lid 2).

• Boetes

  Overtredingen van de verplichtingen van aanbieders (artikel 16) en gebruiksverantwoordelijken (artikel 26) kunnen worden beboet met maximaal 15 miljoen EUR of, voor een onderneming, maximaal 3 % van haar totale wereldwijde jaaromzet in het voorgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4). Voor mkb-bedrijven, met inbegrip van start-ups, geldt het lagere bedrag als maximum voor elke boete (artikel 99, lid 6). Hetzelfde maximum geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast over de mate waarin administratieve boetes kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties en -organen (artikel 99, lid 8).

• Grenzen van het toepassingsgebied van de verordening

  De verordening is van toepassing op aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, of AI-modellen voor algemene doeleinden in de Unie in de handel brengen, ongeacht waar zij zijn gevestigd (artikel 2, lid 1, punt a)), en op aanbieders en gebruiksverantwoordelijken in een derde land wanneer de output van het AI-systeem in de Unie wordt gebruikt (punt c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet geen afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid; zij is evenmin van toepassing op AI-systemen die uitsluitend voor militaire doeleinden, defensiedoeleinden of doeleinden van nationale veiligheid worden gebruikt (artikel 2, lid 3).

• Geen nauwkeurigheidswaarden voor fintech

  Artikel 15 noemt voor geen enkele sector een nauwkeurigheidsmaatstaf, minimumwaarde, testmethode of norm, en ook niet voor kredietscoring of verzekeringen. De aanbieder vermeldt de niveaus en de relevante maatstaven (artikel 15, lid 3). Geharmoniseerde normen waarvan de referenties in het Publicatieblad zijn bekendgemaakt, geven een vermoeden van conformiteit voor zover zij de eisen dekken (artikel 40, lid 1); een bekendgemaakt cyberbeveiligingscertificaat op grond van Verordening (EU) 2019/881 geeft dat voor de cyberbeveiligingseisen voor zover het die dekt (artikel 42, lid 2). Systemen die onder het toepassingsgebied van Verordening (EU) 2024/2847 vallen en voldoen aan de voorwaarden van artikel 12, lid 1, van die verordening, worden geacht te voldoen aan de cyberbeveiligingseisen van artikel 15 (artikel 42, lid 3). De Commissie ontwikkelt richtsnoeren voor de toepassing van de eisen en verplichtingen in de artikelen 8 tot en met 15 en 25 en 26 (artikel 96, lid 1, punt a)).

• Voorbeeld: maatstaven voor een kredietscoremodel

  Voorbeeld, geen eis van de verordening: de aanbieder van een kredietscoremodel zou kunnen vermelden welke nauwkeurigheidsmaatstaven hij heeft gemeten en op welke groep aanvragers en welke periode ze zijn gemeten.

• Voorbeeld: testen op fouten en aanvallen

  Voorbeeld, geen eis van de verordening: een aanbieder zou het systeem kunnen testen met beschadigde of buiten bereik liggende invoer en met adversarial examples, en de resultaten bewaren.

• Artikel 15 AI-verordening: nauwkeurigheid, robuustheid en cyberbeveiliging

  Artikel 15 voor alle sectoren: de eisen, data en boetes.

• AI-verordening fintech: nalevingsgids

  Het fintech-overzicht: hoe de verordening AI voor krediet en verzekeringen bereikt.

• Artikel 17 voor fintech-AI: kwaliteitsbeheersysteem

  Fintech-AI en artikel 17: de 13 onderdelen en de regel voor financiële instellingen.

• Bijlage III uitgediept: alle 8 hoog-risico categorieën

  De acht gebieden van bijlage III, waaronder kredietscoring en levens- en ziektekostenverzekeringen.