Artikel 10 voor fintech-AI: data en datagovernance

Artikel 10 stelt verplichtingen voor de aanbieder vast. Het noemt geen datavolume, nauwkeurigheidswaarde of bewaartermijn.

• art. 10(1), (6)
  Datasets die aan de kwaliteitscriteria voldoen

  AI-systemen met een hoog risico die technieken gebruiken die het trainen van AI-modellen met data omvatten, worden ontwikkeld op basis van datasets voor training, validatie en tests. Die datasets moeten voldoen aan de kwaliteitscriteria in de leden 2, 3 en 4 en in artikel 4 bis, lid 1, telkens wanneer dergelijke datasets worden gebruikt. Voor systemen die geen modellen trainen, zijn deze bepalingen alleen van toepassing op de datasets voor tests.

• art. 10(2)
  Datagovernance en praktijken voor databeheer

  Datasets worden onderworpen aan praktijken op het gebied van databeheer die stroken met het beoogde doel. Deze praktijken hebben in het bijzonder betrekking op de ontwerpkeuzes, de processen voor dataverzameling en de oorsprong van de data en, bij persoonsgegevens, het oorspronkelijke doel van de dataverzameling. Ze hebben ook betrekking op verwerkingsactiviteiten voor datavoorbereiding, zoals annotatie, labelen, opschoning, actualisatie, verrijking en aggregatie. Ze betreffen de aannames over wat de data moeten meten en vertegenwoordigen. En ze betreffen de beschikbaarheid, kwantiteit en geschiktheid van de benodigde datasets, en leemten of tekortkomingen in de data en de manier waarop die kunnen worden aangepakt.

• art. 10(2)(f), (g)
  Vooringenomenheid beoordelen, opsporen, voorkomen en beperken

  De praktijken moeten een beoordeling met het oog op mogelijke vooringenomenheid omvatten (punt f)). Het gaat om vooringenomenheid die waarschijnlijk gevolgen heeft voor de gezondheid en de veiligheid van personen, nadelige effecten heeft op de grondrechten of leidt tot discriminatie die op grond van het Unierecht verboden is. Dat geldt vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties. De praktijken moeten ook passende maatregelen omvatten om de vastgestelde vooringenomenheid op te sporen, te voorkomen en te beperken (punt g)).

• art. 10(3)
  Relevant, representatief, zo veel mogelijk foutenvrij

  Datasets moeten relevant, voldoende representatief en, voor zover mogelijk, foutenvrij en volledig zijn met het oog op het beoogde doel. Zij moeten de passende statistische kenmerken hebben, onder meer, waar van toepassing, met betrekking tot de personen of groepen personen ten aanzien van wie het systeem moet worden gebruikt. Aan deze kenmerken kan worden voldaan op het niveau van afzonderlijke datasets of van een combinatie daarvan.

• art. 10(4)
  Passend bij de gebruiksomgeving

  Datasets houden rekening met de eigenschappen of elementen die specifiek zijn voor de geografische, contextuele, gedrags- of functionele omgeving waarin het systeem moet worden gebruikt. Dit geldt voor zover het beoogde doel dat vereist.

Artikel 10 geldt alleen voor AI-systemen met een hoog risico. De rijen hieronder laten zien waar fintech-AI een hoog risico krijgt.

• Fintech is geen categorie in de verordening

  De verordening kent geen categorie ‘fintech’. Deze website gebruikt het woord voor AI die via twee toepassingen in bijlage III, punt 5, onder de verordening valt. Punt 5, b), betreft AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van de kredietwaardigheid van natuurlijke personen of voor het vaststellen van hun kredietscore. Daarop geldt een uitzondering voor AI-systemen die gebruikt worden om financiële fraude op te sporen. Punt 5, c), betreft AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen in het geval van levens- en ziektekostenverzekeringen. Punt 5 noemt geen fraudedetectie, controles op witwassen of ‘ken uw klant’-controles, algoritmische handel, roboadvies, niet-levensverzekeringen, schadeafhandeling of kredietbeslissingen over rechtspersonen. Een systeem voor een van deze toepassingen is alleen een AI-systeem met een hoog risico als een ander punt van bijlage III of bijlage I het omvat.

• Artikel 6, lid 3, kan een systeem uit bijlage III halen

  Een systeem onder punt 5, b) of 5, c), is een AI-systeem met een hoog risico op grond van artikel 6, lid 2. Volgens artikel 6, lid 3, is het geen AI-systeem met een hoog risico als het geen significant risico op schade voor de gezondheid, veiligheid of grondrechten inhoudt. Daaronder valt dat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt. De verordening past deze uitzondering toe wanneer aan een van de volgende voorwaarden is voldaan (artikel 6, lid 3, punten a) tot en met d)). Het systeem is bedoeld om een beperkte procedurele taak uit te voeren. Of het is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren. Of het is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden. Of het is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen. Hoe deze voorwaarden zich verhouden tot de toets van het significante risico, is een vraag voor een jurist. Het systeem is altijd een AI-systeem met een hoog risico als het profilering van natuurlijke personen uitvoert. Profilering is gedefinieerd in artikel 4, punt 4, AVG (artikel 3, punt 52). Of een bepaald scoring- of prijsstellingssysteem dat doet, is ook een vraag voor een jurist. Een aanbieder die zich op de uitzondering beroept, documenteert zijn beoordeling voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Hij moet het systeem ook registreren (artikel 6, lid 4, artikel 49, lid 2).

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt een AI-systeem, of laat het ontwikkelen. Hij brengt het onder eigen naam of merk in de handel of stelt het onder eigen naam of merk in gebruik (artikel 3, punt 3). Onder in gebruik stellen valt ook de levering voor eigen gebruik van de aanbieder (artikel 3, punt 11). Een bank of verzekeraar die een systeem ontwikkelt en onder eigen naam in gebruik stelt, is dus een aanbieder. Een bank of verzekeraar die een systeem onder eigen verantwoordelijkheid gebruikt, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een gebruiksverantwoordelijke wordt in drie gevallen de aanbieder. Hij zet zijn naam of merk op een AI-systeem met een hoog risico dat al in de handel is gebracht, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Hij brengt een substantiële wijziging aan in zo’n systeem, waardoor het een AI-systeem met een hoog risico blijft. Of hij wijzigt het beoogde doel van een niet als hoog risico geclassificeerd systeem, zodat het een AI-systeem met een hoog risico wordt (artikel 25, lid 1). De aanbieder die het systeem als eerste in de handel heeft gebracht of in gebruik heeft gesteld, wordt dan niet langer als aanbieder van dat specifieke systeem beschouwd en moet nauw samenwerken met de nieuwe aanbieder (artikel 25, lid 2). Dit geldt niet als de oorspronkelijke aanbieder duidelijk heeft aangegeven dat zijn systeem niet mag worden gewijzigd in een AI-systeem met een hoog risico.

• Bijzondere categorieën persoonsgegevens: artikel 4 bis

  Naast de AVG en de andere toepasselijke regels inzake gegevensbescherming mogen aanbieders van AI-systemen met een hoog risico bij wijze van uitzondering bijzondere categorieën persoonsgegevens verwerken. Dat is toegestaan voor zover dit strikt noodzakelijk is voor de opsporing en correctie van vooringenomenheid overeenkomstig artikel 10, lid 2, punten f) en g). Aan alle voorwaarden van artikel 4 bis, lid 1, punten a) tot en met f), moet zijn voldaan. Zo kunnen de opsporing en correctie van vooringenomenheid niet doeltreffend worden vervuld door het verwerken van andere data, zoals synthetische of geanonimiseerde data. De data moeten ook worden verwijderd zodra de vooringenomenheid is gecorrigeerd of de bewaartermijn ten einde is, indien dat eerder is. Artikel 4 bis, lid 2, geeft aanbieders en gebruiksverantwoordelijken van andere AI-systemen, en gebruiksverantwoordelijken van AI-systemen met een hoog risico, dezelfde toestemming onder dezelfde voorwaarden. Het schept geen verplichting om vooringenomenheid op te sporen en te corrigeren.

• Datums

  De eisen voor deze toepassingen uit bijlage III gelden vanaf 2 december 2027 (artikel 113, derde alinea, punt c), i)). Een systeem dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp daarna aanzienlijk wordt gewijzigd. In elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111, lid 2).

• Boetes

  Aanbieders zorgen ervoor dat hun AI-systemen met een hoog risico voldoen aan de eisen van afdeling 2 van hoofdstuk III. Daartoe behoren de artikelen 9 tot en met 15 (artikel 16, punt a)). Een inbreuk op de verplichtingen van aanbieders in artikel 16 of van gebruiksverantwoordelijken in artikel 26 kan worden beboet. De boete bedraagt maximaal 15 miljoen EUR of, voor een onderneming, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet in het voorafgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4, punten a) en e)). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6). Hetzelfde geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast betreffende de vraag in hoeverre administratieve geldboeten kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties of -organen (artikel 99, lid 8).

• Bereik en grenzen van de verordening

  De verordening is van toepassing op aanbieders en gebruiksverantwoordelijken die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt (artikel 2, lid 1, punt c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen, en doet geen afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid (artikel 2, lid 3). De verordening is niet van toepassing op AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel (artikel 2, lid 6). Zij is niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten voordat een systeem in de handel wordt gebracht of in gebruik wordt gesteld. Testen onder reële omstandigheden vallen niet onder die uitsluiting (artikel 2, lid 8). AI-systemen die worden vrijgegeven onder vrije en opensourcelicenties vallen buiten de verordening. Die uitsluiting geldt niet voor AI-systemen die als systeem met een hoog risico in de handel worden gebracht of in gebruik worden gesteld, of die onder artikel 5 of 50 vallen (artikel 2, lid 12).

• Geen datanorm voor fintech

  Artikel 10 noemt geen minimale datagrootte, representativiteitsmaatstaf, maatstaf voor vooringenomenheid of aanvaarde databron voor kredietverlening of verzekeringen. De aanbieder bepaalt wat passend is voor het beoogde doel (artikel 10, lid 2). De verordening zelf noemt geen geharmoniseerde norm. AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de eisen van afdeling 2, voor zover die normen die eisen dekken (artikel 40, lid 1). AI-systemen die zijn getraind en getest op data die overeenkomen met de specifieke geografische, gedragsgerelateerde, contextuele of functionele omgeving waarin zij zullen worden gebruikt, worden geacht te voldoen aan artikel 10, lid 4 (artikel 42, lid 1). De Commissie ontwikkelt richtsnoeren over de praktische toepassing van de vereisten en verplichtingen in de artikelen 8 tot en met 15 en de artikelen 25 en 26 (artikel 96, lid 1, punt a)).

• Voorbeeld: beoordeling op vooringenomenheid bij kredietscoring

  Voorbeeld, geen eis van de verordening: de aanbieder van een kredietscoresysteem zou in de dataset de goedkeurings- en foutpercentages van groepen aanvragers kunnen vergelijken. Hij zou kunnen vastleggen welke groepen in de data ondervertegenwoordigd zijn.

• Voorbeeld: eerdere beslissingen als trainingslabels

  Voorbeeld, geen eis van de verordening: een model kan worden getraind op eerdere kredietverlenings- of acceptatiebeslissingen. Een aanbieder zou vóór het trainen kunnen nagaan of die beslissingen vooringenomen zijn, zoals artikel 10, lid 2, punt f), vraagt om een beoordeling met het oog op mogelijke vooringenomenheid.

• Artikel 10: datagovernance voor hoogrisico-AI

  Artikel 10 voor alle sectoren: de eisen, datums en boetes.

• AI-verordening fintech: nalevingsgids

  Het fintech-overzicht: hoe de verordening AI voor kredietscoring en verzekeringen bereikt.

• Artikel 12 voor fintech-AI: registratie en logs

  Fintech-AI en artikel 12: automatische registratie en wie de logs bewaart.

• AI-verordening vs AVG: verschillen en overlap

  Hoe de AI-verordening en de AVG elkaar overlappen.