Skip to main content

Artikel 13 voor fintech-AI: transparantie en gebruiksaanwijzing

Hoe artikel 13 (transparantie en gebruiksaanwijzing) van toepassing is op AI voor kredietscoring en verzekeringen: wat de aanbieder de gebruiksverantwoordelijke meedeelt, waarom artikel 86 de uitlegverplichting is, datums, boetes en wat de verordening openlaat.

Aanbieders van AI-systemen voor kredietscoring en voor levens- of ziektekostenverzekeringen moeten gebruiksverantwoordelijken een gebruiksaanwijzing geven waarmee zij de output kunnen interpreteren (artikel 13).

Dit zijn toepassingen met een hoog risico volgens bijlage III, punten 5, b) en 5, c); fraudedetectie is uitgezonderd van punt 5, b). De verplichting geldt vanaf 2 december 2027, tenzij de uitzondering van artikel 6, lid 3, geldt. Een besluit aan de aanvrager uitleggen is een andere verplichting (artikel 86). Boetes kunnen maximaal 15 miljoen EUR of, voor een onderneming, 3 % van de wereldwijde jaaromzet bedragen, als dat hoger is (artikel 99, lid 4). Volgende stap: stel de gebruiksaanwijzing op volgens artikel 13, lid 3.

Artikel 13 gaat over de gebruiksaanwijzing voor de gebruiksverantwoordelijke

Artikel 13 stelt verplichtingen voor de aanbieder jegens de gebruiksverantwoordelijke vast. Het bevat geen verplichting om een besluit aan een aanvrager of klant uit te leggen.

  • art. 13(1)
    Transparantie waarmee gebruiksverantwoordelijken de output kunnen interpreteren

    AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruiksverantwoordelijken in staat te stellen de output te interpreteren en op passende wijze te gebruiken. Er wordt een passende soort en mate van transparantie gewaarborgd, zodat de aanbieder en de gebruiksverantwoordelijke hun verplichtingen in afdeling 3 kunnen naleven.

  • art. 13(2)
    Gebruiksaanwijzing

    AI-systemen met een hoog risico gaan vergezeld van een gebruiksaanwijzing in een passend digitaal of ander formaat. Die bevat beknopte, volledige, juiste en duidelijke informatie die relevant, toegankelijk en begrijpelijk is voor gebruiksverantwoordelijken.

  • art. 13(3)(a), (b)
    Minimale inhoud: aanbieder, prestaties en beperkingen

    De gebruiksaanwijzing bevat ten minste de identiteit en de contactgegevens van de aanbieder, en de kenmerken, capaciteiten en beperkingen van de prestaties van het systeem. Daaronder valt het beoogde doel. Daaronder valt ook de mate van nauwkeurigheid, waaronder de beoordelingsmaatstaven, robuustheid en cyberbeveiliging waarop het systeem is getest en gevalideerd en die kan worden verwacht. Ook bekende omstandigheden die daarop van invloed kunnen zijn, vallen daaronder. Ook bekende of te voorziene omstandigheden die kunnen leiden tot risico’s voor de gezondheid, veiligheid of grondrechten vallen daaronder. In voorkomend geval of waar passend vallen daar ook onder: de technische capaciteiten om de output toe te lichten, de prestaties voor specifieke personen of groepen personen, specificaties voor de inputdata en informatie om de output te interpreteren.

  • art. 13(3)(c)–(f)
    Wijzigingen, toezicht, middelen en logs

    De gebruiksaanwijzing vermeldt ook de wijzigingen die de aanbieder vooraf heeft bepaald op het moment van de eerste conformiteitsbeoordeling, indien van toepassing, en de maatregelen voor menselijk toezicht uit hoofde van artikel 14. Zij vermeldt de benodigde rekenkracht en hardware, de verwachte levensduur en de maatregelen voor onderhoud, ook in verband met software-updates. In voorkomend geval beschrijft zij de mechanismen waarmee gebruiksverantwoordelijken de logs naar behoren kunnen verzamelen, opslaan en interpreteren overeenkomstig artikel 12.

Welke fintech-AI aan artikel 13 moet voldoen

Artikel 13 geldt alleen voor AI-systemen met een hoog risico. De rijen hieronder laten zien waar fintech-AI een hoog risico krijgt.

  • Fintech is geen categorie in de verordening

    De verordening kent geen categorie ‘fintech’. Deze website gebruikt het woord voor AI die via twee toepassingen in bijlage III, punt 5, onder de verordening valt. Punt 5, b), betreft AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van de kredietwaardigheid van natuurlijke personen of voor het vaststellen van hun kredietscore. Daarop geldt een uitzondering voor AI-systemen die gebruikt worden om financiële fraude op te sporen. Punt 5, c), betreft AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen in het geval van levens- en ziektekostenverzekeringen. Punt 5 noemt geen fraudedetectie, controles op witwassen of ‘ken uw klant’-controles, algoritmische handel, roboadvies, niet-levensverzekeringen, schadeafhandeling of kredietbeslissingen over rechtspersonen. Een systeem voor een van deze toepassingen is alleen een AI-systeem met een hoog risico als een ander punt van bijlage III of bijlage I het omvat.

  • Artikel 6, lid 3, kan een systeem uit bijlage III halen

    Een systeem onder punt 5, b) of 5, c), is een AI-systeem met een hoog risico op grond van artikel 6, lid 2. Volgens artikel 6, lid 3, is het geen AI-systeem met een hoog risico als het geen significant risico op schade voor de gezondheid, veiligheid of grondrechten inhoudt. Daaronder valt dat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt. De verordening past deze uitzondering toe wanneer aan een van de volgende voorwaarden is voldaan (artikel 6, lid 3, punten a) tot en met d)). Het systeem is bedoeld om een beperkte procedurele taak uit te voeren. Of het is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren. Of het is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden. Of het is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen. Hoe deze voorwaarden zich verhouden tot de toets van het significante risico, is een vraag voor een jurist. Het systeem is altijd een AI-systeem met een hoog risico als het profilering van natuurlijke personen uitvoert. Profilering is gedefinieerd in artikel 4, punt 4, AVG (artikel 3, punt 52). Of een bepaald scoring- of prijsstellingssysteem dat doet, is ook een vraag voor een jurist. Een aanbieder die zich op de uitzondering beroept, documenteert zijn beoordeling voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Hij moet het systeem ook registreren (artikel 6, lid 4, artikel 49, lid 2).

  • Aanbieder en gebruiksverantwoordelijke

    De aanbieder ontwikkelt een AI-systeem, of laat het ontwikkelen. Hij brengt het onder eigen naam of merk in de handel of stelt het onder eigen naam of merk in gebruik (artikel 3, punt 3). Onder in gebruik stellen valt ook de levering voor eigen gebruik van de aanbieder (artikel 3, punt 11). Een bank of verzekeraar die een systeem ontwikkelt en onder eigen naam in gebruik stelt, is dus een aanbieder. Een bank of verzekeraar die een systeem onder eigen verantwoordelijkheid gebruikt, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een gebruiksverantwoordelijke wordt in drie gevallen de aanbieder. Hij zet zijn naam of merk op een AI-systeem met een hoog risico dat al in de handel is gebracht, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Hij brengt een substantiële wijziging aan in zo’n systeem, waardoor het een AI-systeem met een hoog risico blijft. Of hij wijzigt het beoogde doel van een niet als hoog risico geclassificeerd systeem, zodat het een AI-systeem met een hoog risico wordt (artikel 25, lid 1). De aanbieder die het systeem als eerste in de handel heeft gebracht of in gebruik heeft gesteld, wordt dan niet langer als aanbieder van dat specifieke systeem beschouwd en moet nauw samenwerken met de nieuwe aanbieder (artikel 25, lid 2). Dit geldt niet als de oorspronkelijke aanbieder duidelijk heeft aangegeven dat zijn systeem niet mag worden gewijzigd in een AI-systeem met een hoog risico.

  • Een besluit aan een aanvrager uitleggen valt niet onder artikel 13

    Het recht op uitleg staat in artikel 86, lid 1. Het geldt wanneer een gebruiksverantwoordelijke een besluit neemt op basis van de output van een AI-systeem met een hoog risico uit bijlage III, met uitzondering van punt 2. Het besluit moet rechtsgevolgen hebben voor de persoon of op vergelijkbare wijze aanzienlijke invloed op hem of haar hebben. Die invloed moet de persoon als nadelig voor zijn of haar gezondheid, veiligheid of grondrechten beschouwen. De persoon heeft dan het recht om van de gebruiksverantwoordelijke duidelijke, inhoudelijke uitleg te verkrijgen. Die uitleg betreft de rol van het AI-systeem in de besluitvormingsprocedure en de voornaamste elementen van het genomen besluit. Het recht geldt niet wanneer uitzonderingen of beperkingen voortvloeien uit het Unierecht of het nationale recht in naleving van het Unierecht (artikel 86, lid 2). Het geldt alleen voor zover het Unierecht niet anderszins in dat recht voorziet (artikel 86, lid 3). Gebruiksverantwoordelijken van AI-systemen uit bijlage III die beslissingen met betrekking tot natuurlijke personen nemen of helpen nemen, moeten die personen bovendien informeren dat het systeem op hen wordt toegepast (artikel 26, lid 11).

  • Datums

    De eisen voor deze toepassingen uit bijlage III gelden vanaf 2 december 2027 (artikel 113, derde alinea, punt c), i)). Een systeem dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp daarna aanzienlijk wordt gewijzigd. In elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111, lid 2).

  • Boetes

    Aanbieders zorgen ervoor dat hun AI-systemen met een hoog risico voldoen aan de eisen van afdeling 2 van hoofdstuk III. Daartoe behoren de artikelen 9 tot en met 15 (artikel 16, punt a)). Een inbreuk op de verplichtingen van aanbieders in artikel 16 of van gebruiksverantwoordelijken in artikel 26 kan worden beboet. De boete bedraagt maximaal 15 miljoen EUR of, voor een onderneming, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet in het voorafgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4, punten a) en e)). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6). Hetzelfde geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast betreffende de vraag in hoeverre administratieve geldboeten kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties of -organen (artikel 99, lid 8).

  • Bereik en grenzen van de verordening

    De verordening is van toepassing op aanbieders en gebruiksverantwoordelijken die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt (artikel 2, lid 1, punt c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen, en doet geen afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid (artikel 2, lid 3). De verordening is niet van toepassing op AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel (artikel 2, lid 6). Zij is niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten voordat een systeem in de handel wordt gebracht of in gebruik wordt gesteld. Testen onder reële omstandigheden vallen niet onder die uitsluiting (artikel 2, lid 8). AI-systemen die worden vrijgegeven onder vrije en opensourcelicenties vallen buiten de verordening. Die uitsluiting geldt niet voor AI-systemen die als systeem met een hoog risico in de handel worden gebracht of in gebruik worden gesteld, of die onder artikel 5 of 50 vallen (artikel 2, lid 12).

Wat de verordening openlaat voor fintech

  • Geen formaat voor informatieverstrekking in fintech

    De verordening noemt geen formaat, sjabloon of bewoording voor gebruiksaanwijzingen bij kredietverlening of verzekeringen. De aanbieder bepaalt hoe hij de punten presenteert die artikel 13, lid 3, vereist. De verordening zelf noemt geen geharmoniseerde norm. AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de eisen van afdeling 2, voor zover die normen die eisen dekken (artikel 40, lid 1). De Commissie ontwikkelt richtsnoeren over de praktische toepassing van de vereisten en verplichtingen in de artikelen 8 tot en met 15 en de artikelen 25 en 26 (artikel 96, lid 1, punt a)).

  • Voorbeeld: inhoud voor een kredietscoresysteem

    Voorbeeld, geen eis van de verordening: de gebruiksaanwijzing van een kredietscoresysteem zou de data kunnen vermelden die het model nodig heeft en de populatie waarop de nauwkeurigheid is gemeten. Zij zou ook de gevallen kunnen noemen waarin niet uitsluitend op de output moet worden vertrouwd.

  • Voorbeeld: inputdata die de gebruiksverantwoordelijke controleert

    Voorbeeld, geen eis van de verordening: een gebruiksaanwijzing zou de inputs aan de kant van de bank kunnen opsommen waarvan het model afhankelijk is. Zo kan een gebruiksverantwoordelijke die controle heeft over de inputdata, voldoen aan artikel 26, lid 4.

Vragen over artikel 13 bij fintech

Vereist artikel 13 dat een bank een leningaanvrager vertelt hoe de AI heeft besloten?

Nee. Artikel 13 vereist dat de aanbieder de gebruiksverantwoordelijke een gebruiksaanwijzing geeft. De verplichting jegens de persoon op wie een besluit van toepassing is, staat elders. Artikel 86, lid 1, geeft die persoon het recht om van de gebruiksverantwoordelijke duidelijke, inhoudelijke uitleg te verkrijgen. Artikel 26, lid 11, verplicht gebruiksverantwoordelijken om personen te informeren dat het systeem op hen wordt toegepast.

Moet de gebruiksaanwijzing de nauwkeurigheid van het systeem vermelden?

Ja. Artikel 13, lid 3, punt b), ii), vereist de mate van nauwkeurigheid, waaronder de beoordelingsmaatstaven, robuustheid en cyberbeveiliging waarop het systeem is getest en gevalideerd en die kan worden verwacht. De verordening noemt geen waarde.

Geldt er een andere transparantieregel voor een chatbot bij een bank?

Ja. Aanbieders moeten ervoor zorgen dat AI-systemen voor directe interactie met natuurlijke personen zo worden ontworpen dat de betrokken personen worden geïnformeerd dat zij met een AI-systeem interageren, tenzij dit duidelijk is (artikel 50, lid 1). Die verplichting staat los van artikel 13.

Scanara bereidt bewijs voor vanuit uw repositories

Scanara leest uw gekoppelde GitHub-repositories en voert regelgebaseerde scans uit op gangbare AI- en machine-learningpatronen. Niet-standaardcode kan het missen. Daarnaast genereert het conceptdocumentatie op basis van sjablonen en uw antwoorden in de beoordelingen, als bewijs voor uw compliancewerk. De indeling bepaalt u zelf.