Artikel 13 voor onderwijs-AI: transparantie en informatie aan gebruiksverantwoordelijken

Artikel 13 stelt verplichtingen voor de aanbieder vast. De geadresseerde is de gebruiksverantwoordelijke, zoals een school, universiteit of examenorgaan.

• art. 13(1)
  Voldoende transparant om de output te interpreteren

  AI-systemen met een hoog risico moeten zodanig worden ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruiksverantwoordelijken in staat te stellen de output van een systeem te interpreteren en op passende wijze te gebruiken. Er moet een passende soort en mate van transparantie worden gewaarborgd met het oog op de naleving van de relevante verplichtingen van de aanbieder en de gebruiksverantwoordelijke zoals uiteengezet in afdeling 3.

• art. 13(2)
  Gebruiksaanwijzing

  AI-systemen met een hoog risico moeten vergezeld gaan van een gebruiksaanwijzing in een passend digitaal of ander formaat. Die bevat beknopte, volledige, juiste en duidelijke informatie die relevant, toegankelijk en begrijpelijk is voor gebruiksverantwoordelijken.

• art. 13(3)(a)–(c)
  Identiteit, prestaties en risico’s

  De gebruiksaanwijzing bevat ten minste: a) de identiteit en de contactgegevens van de aanbieder en, in voorkomend geval, van zijn gemachtigde; b) de kenmerken, capaciteiten en beperkingen van de prestaties, waaronder i) het beoogde doel, ii) de mate van nauwkeurigheid, waaronder de beoordelingsmaatstaven, robuustheid en cyberbeveiliging als bedoeld in artikel 15 waarop het systeem is getest en gevalideerd en die kan worden verwacht, en eventuele bekende en te voorziene omstandigheden die een effect kunnen hebben op die mate, en iii) eventuele bekende of te voorziene omstandigheden in verband met het gebruik die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten als bedoeld in artikel 9, lid 2; c) de wijzigingen van het systeem en de prestaties ervan die vooraf door de aanbieder zijn bepaald op het moment van de eerste conformiteitsbeoordeling, indien van toepassing.

• art. 13(3)(b)(iv)–(vii)
  Punten die van het systeem afhangen

  Ook onderdeel van punt b), met de eigen voorwaarden van de verordening: iv) in voorkomend geval, de technische capaciteiten en kenmerken van het systeem om informatie te verstrekken die relevant is om de output ervan toe te lichten; v) in voorkomend geval, zijn prestaties met betrekking tot specifieke personen of groepen personen voor wie het systeem moet worden gebruikt; vi) in voorkomend geval, specificaties voor de inputdata of eventuele andere relevante informatie met betrekking tot de gebruikte datasets voor training, validatie en tests, rekening houdend met het beoogde doel; vii) in voorkomend geval, informatie om de gebruiksverantwoordelijken in staat te stellen de output te interpreteren en op passende wijze te gebruiken.

• art. 13(3)(d)–(f)
  Toezicht, middelen en logs

  De gebruiksaanwijzing bevat ook: d) de in artikel 14 bedoelde maatregelen voor menselijk toezicht, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output door gebruiksverantwoordelijken te vergemakkelijken; e) de benodigde rekenkracht en hardware, de verwachte levensduur van het systeem en eventuele noodzakelijke maatregelen voor onderhoud en verzorging, en de frequentie daarvan, ook in verband met software-updates; f) in voorkomend geval, een beschrijving van de mechanismen in het systeem die gebruiksverantwoordelijken in staat stellen de logs naar behoren te verzamelen, op te slaan en te interpreteren overeenkomstig artikel 12.

Artikel 13 geldt alleen voor AI-systemen met een hoog risico. De rijen hieronder laten zien waar onderwijs-AI een hoog risico krijgt en voor wie de informatie bestemd is.

• De verordening kent geen sectorbreed regime voor onderwijs

  De verordening kent geen sectorbreed regime voor onderwijs. Bijlage III, punt 3, is het gebied met een hoog risico met het opschrift “Onderwijs en beroepsopleiding”. Deze website gebruikt het woord onderwijs voor AI die via dat punt onder de verordening valt. Punt 3 noemt vier toepassingen. a) AI-systemen die bedoeld zijn om te worden gebruikt voor het bepalen van toegang of toelating tot of het toewijzen van natuurlijke personen aan instellingen voor onderwijs en beroepsonderwijs op alle niveaus. b) AI-systemen die bedoeld zijn om te worden gebruikt voor het evalueren van leerresultaten, ook wanneer die resultaten worden gebruikt voor het sturen van het leerproces van natuurlijke personen. c) AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van het passende onderwijsniveau dat een persoon zal ontvangen of waartoe hij toegang zal hebben. d) AI-systemen die bedoeld zijn om te worden gebruikt voor het monitoren en detecteren van ongeoorloofd gedrag van studenten tijdens toetsen. Elke toepassing is gekoppeld aan instellingen voor onderwijs en beroepsonderwijs op alle niveaus. Punt 3 noemt plagiaat- of AI-tekstdetectie, voorspelling van schooluitval, leerdashboards, administratieve chatbots of adaptief leren niet als zodanig. Een systeem voor een van deze toepassingen heeft alleen een hoog risico als het beoogde doel overeenkomt met een van de vier toepassingen, of als een ander punt van bijlage III of bijlage I het omvat.

• Het afleiden van emoties in onderwijsinstellingen: verboden, met een uitzondering om medische of veiligheidsredenen

  Artikel 5, lid 1, punt f), verbiedt het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het onderwijs af te leiden, behalve wanneer het gebruik van het AI-systeem is bedoeld om uit medische of veiligheidsoverwegingen te worden ingevoerd of in de handel te worden gebracht. Het verbod geldt vanaf 2 februari 2025 (artikel 113, punt a)). Het is een verbod, geen toepassing met een hoog risico: de uitzondering schept geen verplichting en is geen aanknopingspunt in bijlage III. Een inbreuk wordt beboet met maximaal 35 miljoen EUR of, voor een onderneming, maximaal 7 % van de totale wereldwijde jaaromzet, als dat bedrag hoger is (artikel 99, lid 3). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6).

• Artikel 6, lid 3, kan een systeem uit bijlage III halen

  Een systeem onder punt 3 is een AI-systeem met een hoog risico op grond van artikel 6, lid 2. In afwijking daarvan wordt een in bijlage III bedoeld AI-systeem volgens artikel 6, lid 3, niet als AI-systeem met een hoog risico beschouwd wanneer het geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt, onder meer doordat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt. Dat geldt wanneer aan een van de volgende vier voorwaarden is voldaan: a) het AI-systeem is bedoeld om een beperkte procedurele taak uit te voeren; b) het is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren; c) het is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden; of d) het is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen. Een AI-systeem uit bijlage III is altijd een AI-systeem met een hoog risico wanneer het profilering van natuurlijke personen uitvoert (artikel 3, punt 52, artikel 4, punt 4, AVG). Een aanbieder die van mening is dat zijn AI-systeem uit bijlage III geen hoog risico inhoudt, documenteert zijn beoordeling voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld en registreert het (artikel 6, lid 4, artikel 49, lid 2). Of een bepaald onderwijssysteem profilering uitvoert, is een vraag voor een jurist.

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt een AI-systeem, of laat het ontwikkelen. Hij brengt het onder eigen naam of merk in de handel of stelt het onder eigen naam of merk in gebruik (artikel 3, punt 3). Onder in gebruik stellen valt ook de levering voor eigen gebruik van de aanbieder (artikel 3, punt 11). Een school, universiteit of examenorgaan die een systeem onder eigen verantwoordelijkheid gebruikt, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een universiteit die een systeem ontwikkelt en onder eigen naam voor eigen gebruik in gebruik stelt, is dus een aanbieder. Een gebruiksverantwoordelijke wordt in drie gevallen de aanbieder van een AI-systeem met een hoog risico. Hij zet zijn naam of merk op een systeem dat al in de handel is gebracht, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Hij brengt een substantiële wijziging aan in zo’n systeem, waardoor het een AI-systeem met een hoog risico blijft. Of hij wijzigt het beoogde doel van een niet als hoog risico geclassificeerd systeem, zodat het een AI-systeem met een hoog risico wordt (artikel 25, lid 1).

• Informatie aan studenten: artikel 26, lid 11, en artikel 86, niet artikel 13

  Artikel 13 vereist geen kennisgeving aan studenten of ouders. Op grond van artikel 26, lid 11, en onverminderd artikel 50, moeten gebruiksverantwoordelijken van in bijlage III bedoelde AI-systemen met een hoog risico die beslissingen met betrekking tot natuurlijke personen nemen of helpen nemen, de natuurlijke personen informeren dat het AI-systeem met een hoog risico op hen wordt toegepast. Artikel 86, lid 1, geeft elke getroffen persoon op wie een besluit van toepassing is dat door de gebruiksverantwoordelijke wordt genomen op basis van de output van een in bijlage III vermeld AI-systeem, met uitzondering van punt 2, en dat rechtsgevolgen heeft voor die persoon, of op deze op vergelijkbare wijze aanzienlijke invloed heeft die hij of zij als nadelige gevolgen voor zijn of haar gezondheid, veiligheid of grondrechten beschouwt, het recht om van de gebruiksverantwoordelijke duidelijke, inhoudelijke uitleg te verkrijgen bij de rol van het AI-systeem in de besluitvormingsprocedure en de voornaamste elementen van het genomen besluit. Artikel 86, leden 2 en 3, bevatten uitzonderingen. Artikel 85 bepaalt dat elke natuurlijke of rechtspersoon die redenen heeft om van mening te zijn dat er inbreuk is gepleegd op de verordening, een klacht kan indienen bij de markttoezichtautoriteit.

• Datums

  Hoofdstuk III, afdelingen 1 tot en met 3, waartoe de artikelen 9 tot en met 15, 17, 26 en 27 behoren, gelden voor AI-systemen die op grond van artikel 6, lid 2, en bijlage III als AI-systeem met een hoog risico zijn geclassificeerd, vanaf 2 december 2027 (artikel 113, punt c), i)). Een AI-systeem met een hoog risico dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp vanaf die datum aanzienlijk wordt gewijzigd. In ieder geval ondernemen de aanbieders en gebruiksverantwoordelijken van AI-systemen met een hoog risico die bedoeld zijn om door overheidsinstanties te worden gebruikt, de nodige stappen om uiterlijk op 2 augustus 2030 aan de eisen en verplichtingen van deze verordening te voldoen (artikel 111, lid 2). De verordening vermeldt niet of dit ook geldt voor systemen die na 2 december 2027 in de handel zijn gebracht of in gebruik zijn gesteld; dat is een vraag voor een jurist.

• Boetes

  Aanbieders moeten ervoor zorgen dat hun AI-systemen met een hoog risico voldoen aan de eisen van afdeling 2 van hoofdstuk III, waartoe de artikelen 9 tot en met 15 behoren (artikel 16, punt a)). Een inbreuk op de verplichtingen van aanbieders in artikel 16 of van gebruiksverantwoordelijken in artikel 26 kan worden beboet met maximaal 15 miljoen EUR of, als de overtreder een onderneming is, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet in het voorafgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4, punten a) en e)). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6). Hetzelfde geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast betreffende de vraag in hoeverre boeten kunnen worden opgelegd aan overheidsinstanties en -organen (artikel 99, lid 8).

• Systemen en toepassingen buiten de verordening

  De verordening is van toepassing op aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd of er zich bevinden, en op aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt (artikel 2, lid 1, punten a) en c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet in geen geval afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid (artikel 2, lid 3). Zij is niet van toepassing op AI-systemen wanneer en in zover die uitsluitend in de handel worden gebracht, in gebruik worden gesteld of, al dan niet gewijzigd, worden gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, en evenmin op AI-systemen die niet in de Unie in de handel worden gebracht of in gebruik worden gesteld en waarvan de output in de Unie uitsluitend wordt gebruikt voor dergelijke doeleinden (artikel 2, lid 3). Zij is niet van toepassing op AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel (artikel 2, lid 6). Zij is niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten voordat een systeem in de handel wordt gebracht of in gebruik wordt gesteld; testen onder reële omstandigheden vallen niet onder die uitsluiting (artikel 2, lid 8). Zij is niet van toepassing op verplichtingen van gebruiksverantwoordelijken die natuurlijke personen zijn die AI-systemen gebruiken in het kader van een louter persoonlijke niet-professionele activiteit (artikel 2, lid 10). AI-systemen die worden vrijgegeven onder vrije en opensourcelicenties vallen buiten de verordening, tenzij ze als AI-systeem met een hoog risico in de handel worden gebracht of in gebruik worden gesteld, of onder artikel 5 of 50 vallen (artikel 2, lid 12).

• Geen onderwijsspecifieke inhoud voor de gebruiksaanwijzing

  Artikel 13, lid 3, bevat voor elke sector dezelfde lijst. De verordening bepaalt niet welke groepen studenten de prestatie-informatie moet omvatten; zij zegt ‘in voorkomend geval’ (artikel 13, lid 3, punt b), v)). De verordening zelf noemt geen geharmoniseerde norm. AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de eisen van afdeling 2, voor zover die normen die eisen dekken (artikel 40, lid 1). De Commissie ontwikkelt richtsnoeren over de toepassing van de artikelen 8 tot en met 15, 25 en 26 (artikel 96, lid 1, punt a)).

• Voorbeeld: beoogd doel in de gebruiksaanwijzing

  Voorbeeld, geen vereiste van de verordening: bij een systeem dat medewerkers ondersteunt bij het rangschikken van aanvragen, zou de gebruiksaanwijzing in het beoogde doel kunnen vermelden waarvoor de output bedoeld is, zodat de gebruiksverantwoordelijke deze op passende wijze kan gebruiken (artikel 13, lid 3, punt b), i)).

• Voorbeeld: bekende omstandigheden bij toetsmonitoring

  Voorbeeld, geen vereiste van de verordening: bij een systeem dat ongeoorloofd gedrag tijdens toetsen opspoort, zou de gebruiksaanwijzing bekende omstandigheden kunnen noemen die de nauwkeurigheid kunnen beïnvloeden, zoals de omstandigheden waarin het is getest en gevalideerd (artikel 13, lid 3, punt b), ii)).

• Artikel 13 AI-verordening: transparantie en gebruiksaanwijzing

  Artikel 13 voor alle sectoren: de eisen, datums en boetes.

• AI-verordening edtech: naleving in onderwijs

  Het overzicht voor onderwijs: hoe de verordening AI voor toelating, cijfergeving, niveaubeoordeling en toetsmonitoring bereikt.

• Artikel 14 voor onderwijs-AI: menselijk toezicht

  Onderwijs-AI en artikel 14: menselijk toezicht in het ontwerp.

• Artikel 26: verplichtingen van gebruiksverantwoordelijken van hoogrisico-AI

  Wat gebruiksverantwoordelijken van AI-systemen met een hoog risico moeten doen, waaronder het informeren van getroffen personen.