Artikel 12 voor onderwijs-AI: registratie en logs

Artikel 12 is een ontwerpverplichting van de aanbieder. Het maakt de gebruiksverantwoordelijke niet verantwoordelijk voor het ontwerp van de logs.

• art. 12(1)
  Automatische registratie van gebeurtenissen gedurende de levenscyclus

  AI-systemen met een hoog risico moeten technisch zo zijn vormgegeven dat gebeurtenissen (logs) gedurende de levenscyclus van het systeem automatisch worden geregistreerd.

• art. 12(2)
  Traceerbaarheid voor drie doelen

  Om te zorgen voor een niveau van traceerbaarheid van de werking van het systeem dat passend is voor het beoogde doel, moeten de loggingfuncties het mogelijk maken om gebeurtenissen te registreren die relevant zijn voor: a) het identificeren van situaties die ertoe kunnen leiden dat het systeem een risico vormt in de zin van artikel 79, lid 1, of dat er een substantiële wijziging optreedt; b) het faciliteren van de monitoring na het in de handel brengen als bedoeld in artikel 72; en c) het monitoren van de werking van het systeem als bedoeld in artikel 26, lid 5.

• art. 12(3)
  Minimale loginhoud: alleen bijlage III, punt 1, a)

  Artikel 12, lid 3, somt de minimale loginhoud op voor de AI-systemen met een hoog risico in punt 1, a), van bijlage III. Het geldt niet voor punt 3. Artikel 12 noemt geen logvelden voor onderwijssystemen.

Artikel 12 geldt alleen voor AI-systemen met een hoog risico. De rijen hieronder laten zien waar onderwijs-AI een hoog risico krijgt en wie de logs bewaart.

• De verordening kent geen sectorbreed regime voor onderwijs

  De verordening kent geen sectorbreed regime voor onderwijs. Bijlage III, punt 3, is het gebied met een hoog risico met het opschrift “Onderwijs en beroepsopleiding”. Deze website gebruikt het woord onderwijs voor AI die via dat punt onder de verordening valt. Punt 3 noemt vier toepassingen. a) AI-systemen die bedoeld zijn om te worden gebruikt voor het bepalen van toegang of toelating tot of het toewijzen van natuurlijke personen aan instellingen voor onderwijs en beroepsonderwijs op alle niveaus. b) AI-systemen die bedoeld zijn om te worden gebruikt voor het evalueren van leerresultaten, ook wanneer die resultaten worden gebruikt voor het sturen van het leerproces van natuurlijke personen. c) AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van het passende onderwijsniveau dat een persoon zal ontvangen of waartoe hij toegang zal hebben. d) AI-systemen die bedoeld zijn om te worden gebruikt voor het monitoren en detecteren van ongeoorloofd gedrag van studenten tijdens toetsen. Elke toepassing is gekoppeld aan instellingen voor onderwijs en beroepsonderwijs op alle niveaus. Punt 3 noemt plagiaat- of AI-tekstdetectie, voorspelling van schooluitval, leerdashboards, administratieve chatbots of adaptief leren niet als zodanig. Een systeem voor een van deze toepassingen heeft alleen een hoog risico als het beoogde doel overeenkomt met een van de vier toepassingen, of als een ander punt van bijlage III of bijlage I het omvat.

• Het afleiden van emoties in onderwijsinstellingen: verboden, met een uitzondering om medische of veiligheidsredenen

  Artikel 5, lid 1, punt f), verbiedt het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het onderwijs af te leiden, behalve wanneer het gebruik van het AI-systeem is bedoeld om uit medische of veiligheidsoverwegingen te worden ingevoerd of in de handel te worden gebracht. Het verbod geldt vanaf 2 februari 2025 (artikel 113, punt a)). Het is een verbod, geen toepassing met een hoog risico: de uitzondering schept geen verplichting en is geen aanknopingspunt in bijlage III. Een inbreuk wordt beboet met maximaal 35 miljoen EUR of, voor een onderneming, maximaal 7 % van de totale wereldwijde jaaromzet, als dat bedrag hoger is (artikel 99, lid 3). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6).

• Artikel 6, lid 3, kan een systeem uit bijlage III halen

  Een systeem onder punt 3 is een AI-systeem met een hoog risico op grond van artikel 6, lid 2. In afwijking daarvan wordt een in bijlage III bedoeld AI-systeem volgens artikel 6, lid 3, niet als AI-systeem met een hoog risico beschouwd wanneer het geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt, onder meer doordat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt. Dat geldt wanneer aan een van de volgende vier voorwaarden is voldaan: a) het AI-systeem is bedoeld om een beperkte procedurele taak uit te voeren; b) het is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren; c) het is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden; of d) het is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen. Een AI-systeem uit bijlage III is altijd een AI-systeem met een hoog risico wanneer het profilering van natuurlijke personen uitvoert (artikel 3, punt 52, artikel 4, punt 4, AVG). Een aanbieder die van mening is dat zijn AI-systeem uit bijlage III geen hoog risico inhoudt, documenteert zijn beoordeling voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld en registreert het (artikel 6, lid 4, artikel 49, lid 2). Of een bepaald onderwijssysteem profilering uitvoert, is een vraag voor een jurist.

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt een AI-systeem, of laat het ontwikkelen. Hij brengt het onder eigen naam of merk in de handel of stelt het onder eigen naam of merk in gebruik (artikel 3, punt 3). Onder in gebruik stellen valt ook de levering voor eigen gebruik van de aanbieder (artikel 3, punt 11). Een school, universiteit of examenorgaan die een systeem onder eigen verantwoordelijkheid gebruikt, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een universiteit die een systeem ontwikkelt en onder eigen naam voor eigen gebruik in gebruik stelt, is dus een aanbieder. Een gebruiksverantwoordelijke wordt in drie gevallen de aanbieder van een AI-systeem met een hoog risico. Hij zet zijn naam of merk op een systeem dat al in de handel is gebracht, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Hij brengt een substantiële wijziging aan in zo’n systeem, waardoor het een AI-systeem met een hoog risico blijft. Of hij wijzigt het beoogde doel van een niet als hoog risico geclassificeerd systeem, zodat het een AI-systeem met een hoog risico wordt (artikel 25, lid 1).

• Aanbieder: ontwerp, en logs bewaren die onder zijn controle vallen

  De aanbieder ontwerpt de loggingfunctie (artikel 12). Aanbieders van AI-systemen met een hoog risico bewaren ook de in artikel 12, lid 1, bedoelde logs die automatisch worden gegenereerd door hun systemen, voor zover die logs onder hun controle vallen, gedurende een periode die passend is voor het beoogde doel en ten minste zes maanden bedraagt, tenzij anders is bepaald in het toepasselijke Unie- of nationale recht, meer in het bijzonder het Unierecht over de bescherming van persoonsgegevens (artikel 19, lid 1).

• Gebruiksverantwoordelijke: logs bewaren die onder zijn controle vallen

  Gebruiksverantwoordelijken van AI-systemen met een hoog risico bewaren de logs die automatisch door het systeem worden gegenereerd, voor zover die logs onder hun controle vallen, gedurende een periode die passend is voor het beoogde doel en ten minste zes maanden bedraagt, tenzij anders is bepaald in het toepasselijke Unie- of nationale recht, meer in het bijzonder het Unierecht over de bescherming van persoonsgegevens (artikel 26, lid 6). Gebruiksverantwoordelijken monitoren ook de werking van het systeem op basis van de gebruiksaanwijzing (artikel 26, lid 5).

• Datums

  Hoofdstuk III, afdelingen 1 tot en met 3, waartoe de artikelen 9 tot en met 15, 17, 26 en 27 behoren, gelden voor AI-systemen die op grond van artikel 6, lid 2, en bijlage III als AI-systeem met een hoog risico zijn geclassificeerd, vanaf 2 december 2027 (artikel 113, punt c), i)). Een AI-systeem met een hoog risico dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp vanaf die datum aanzienlijk wordt gewijzigd. In ieder geval ondernemen de aanbieders en gebruiksverantwoordelijken van AI-systemen met een hoog risico die bedoeld zijn om door overheidsinstanties te worden gebruikt, de nodige stappen om uiterlijk op 2 augustus 2030 aan de eisen en verplichtingen van deze verordening te voldoen (artikel 111, lid 2). De verordening vermeldt niet of dit ook geldt voor systemen die na 2 december 2027 in de handel zijn gebracht of in gebruik zijn gesteld; dat is een vraag voor een jurist.

• Boetes

  Aanbieders moeten ervoor zorgen dat hun AI-systemen met een hoog risico voldoen aan de eisen van afdeling 2 van hoofdstuk III, waartoe de artikelen 9 tot en met 15 behoren (artikel 16, punt a)). Een inbreuk op de verplichtingen van aanbieders in artikel 16 of van gebruiksverantwoordelijken in artikel 26 kan worden beboet met maximaal 15 miljoen EUR of, als de overtreder een onderneming is, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet in het voorafgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4, punten a) en e)). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6). Hetzelfde geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast betreffende de vraag in hoeverre boeten kunnen worden opgelegd aan overheidsinstanties en -organen (artikel 99, lid 8).

• Systemen en toepassingen buiten de verordening

  De verordening is van toepassing op aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd of er zich bevinden, en op aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt (artikel 2, lid 1, punten a) en c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet in geen geval afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid (artikel 2, lid 3). Zij is niet van toepassing op AI-systemen wanneer en in zover die uitsluitend in de handel worden gebracht, in gebruik worden gesteld of, al dan niet gewijzigd, worden gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, en evenmin op AI-systemen die niet in de Unie in de handel worden gebracht of in gebruik worden gesteld en waarvan de output in de Unie uitsluitend wordt gebruikt voor dergelijke doeleinden (artikel 2, lid 3). Zij is niet van toepassing op AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel (artikel 2, lid 6). Zij is niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten voordat een systeem in de handel wordt gebracht of in gebruik wordt gesteld; testen onder reële omstandigheden vallen niet onder die uitsluiting (artikel 2, lid 8). Zij is niet van toepassing op verplichtingen van gebruiksverantwoordelijken die natuurlijke personen zijn die AI-systemen gebruiken in het kader van een louter persoonlijke niet-professionele activiteit (artikel 2, lid 10). AI-systemen die worden vrijgegeven onder vrije en opensourcelicenties vallen buiten de verordening, tenzij ze als AI-systeem met een hoog risico in de handel worden gebracht of in gebruik worden gesteld, of onder artikel 5 of 50 vallen (artikel 2, lid 12).

• Wat artikel 12 niet vaststelt

  Artikel 12 noemt de doelen van de loggingfunctie, niet de velden. Het bepaalt niet dat logs onveranderlijk moeten zijn, dat elk besluit of elk cijfer moet worden gelogd, of dat een versie van een model of beoordelingsrubric moet worden vastgelegd. De verordening zelf noemt geen geharmoniseerde norm. AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de eisen van afdeling 2, voor zover die normen die eisen dekken (artikel 40, lid 1).

• Voorbeeld: gebeurtenissen in een systeem voor toetsmonitoring

  Voorbeeld, geen vereiste van de verordening: de aanbieder van een systeem dat ongeoorloofd gedrag tijdens toetsen opspoort, zou het begin en het einde van elk gebruik en elke afgegeven waarschuwing kunnen loggen, omdat zulke gebeurtenissen van belang kunnen zijn voor het identificeren van risico’s en voor monitoring na het in de handel brengen (artikel 12, lid 2, punten a) en b)).

• Bewaring en gegevensbeschermingsrecht

  De verordening stelt een minimum van ten minste zes maanden vast voor logs die onder de controle van aanbieders en gebruiksverantwoordelijken vallen, en bepaalt dat het Unie- of nationale recht anders kan bepalen, met name het Unierecht over de bescherming van persoonsgegevens. Hoe lang logs met persoonsgegevens van studenten mogen worden bewaard, wordt dus ook door dat recht bepaald.

• Artikel 12 AI-verordening: registratie & logging

  Artikel 12 voor alle sectoren: de eisen, datums en boetes.

• AI-verordening edtech: naleving in onderwijs

  Het overzicht voor onderwijs: hoe de verordening AI voor toelating, cijfergeving, niveaubeoordeling en toetsmonitoring bereikt.

• Artikel 13 voor onderwijs-AI: transparantie en informatie aan gebruiksverantwoordelijken

  Onderwijs-AI en artikel 13: gebruiksaanwijzing en informatie aan gebruiksverantwoordelijken.

• Artikel 26: verplichtingen van gebruiksverantwoordelijken van hoogrisico-AI

  Wat gebruiksverantwoordelijken van AI-systemen met een hoog risico moeten doen, waaronder het bewaren van logs en het informeren van getroffen personen.