Artikel 9 voor onderwijs-AI: systeem voor risicobeheer

Artikel 9 stelt verplichtingen voor de aanbieder vast. Het bevat voor onderwijs of een andere sector geen risicolijst, maatstafwaarde of drempel.

• art. 9(1)
  Vaststellen, uitvoeren, documenteren en in stand houden

  Met betrekking tot AI-systemen met een hoog risico moet een systeem voor risicobeheer worden vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.

• art. 9(2)
  Een doorlopend proces gedurende de hele levensduur

  Het systeem is een tijdens de gehele levensduur doorlopend en gepland iteratief proces, dat periodieke systematische toetsing en actualisering vereist. Het omvat vier stappen. Eerst: de bekende en redelijkerwijs te voorziene risico’s voor de gezondheid, veiligheid of grondrechten vaststellen en analyseren wanneer het systeem overeenkomstig het beoogde doel wordt gebruikt. Ten tweede: de risico’s inschatten en evalueren die zich kunnen voordoen bij gebruik overeenkomstig het beoogde doel en bij redelijkerwijs te voorzien misbruik. Ten derde: andere risico’s evalueren op basis van data uit het systeem voor monitoring na het in de handel brengen (artikel 72). Ten vierde: gepaste en gerichte risicobeheersmaatregelen vaststellen voor de in de eerste stap vastgestelde risico’s.

• art. 9(3)
  Alleen risico’s die ontwerp of informatie kunnen aanpakken

  Onder de risico’s vallen uitsluitend risico’s die redelijkerwijs kunnen worden beperkt of weggenomen via het ontwikkelen of ontwerpen van het systeem of de verstrekking van adequate technische informatie.

• art. 9(4), (5)
  Restrisico en informatie aan gebruiksverantwoordelijken

  De maatregelen houden naar behoren rekening met de effecten en mogelijke wisselwerking die voortvloeien uit de gecombineerde toepassing van de eisen van afdeling 2. Het relevante restrisico in verband met elk gevaar en het totale restrisico moeten aanvaardbaar worden geacht. Bij het kiezen van de maatregelen waarborgt de aanbieder dat risico’s voor zover technisch haalbaar worden uitgesloten of beperkt door een adequaat ontwerp en adequate ontwikkeling; waar passend, dat risico’s die niet kunnen worden uitgesloten worden aangepakt met adequate maatregelen voor beperking en controle; en dat de op grond van artikel 13 vereiste informatie en, waar passend, opleiding aan gebruiksverantwoordelijken wordt verstrekt. De aanbieder besteedt naar behoren aandacht aan de te verwachten technische kennis, ervaring, scholing en opleiding van de gebruiksverantwoordelijke en de vermoedelijke context van gebruik.

• art. 9(6)–(8)
  Testen aan de hand van vooraf vastgestelde maatstaven

  AI-systemen met een hoog risico moeten worden getest om de passendste en gerichte risicobeheersmaatregelen vast te stellen. De tests zorgen ervoor dat de systemen consistent presteren ten aanzien van het beoogde doel en in overeenstemming zijn met de eisen van afdeling 2. Er wordt getest zoals passend in de loop van het ontwikkelingsproces en in ieder geval voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Er wordt getest aan de hand van vooraf vastgestelde beoordelingsmaatstaven en probabilistische drempels die passend zijn voor het beoogde doel. De testprocedures kunnen onder meer bestaan in testen onder reële omstandigheden (artikel 60).

• art. 9(9)
  Personen jonger dan 18 jaar en andere kwetsbare groepen

  Bij de uitvoering van het systeem voor risicobeheer moeten aanbieders rekening houden met de vraag of het systeem, gezien het beoogde doel, waarschijnlijk negatieve gevolgen zal hebben voor personen jonger dan 18 jaar en, in voorkomend geval, voor andere kwetsbare groepen. Artikel 9 gaat dus wel in op minderjarigen. Punt 3 omvat instellingen op alle niveaus, dus systemen onder dat punt kunnen personen jonger dan 18 jaar betreffen.

Artikel 9 geldt alleen voor AI-systemen met een hoog risico. De rijen hieronder laten zien waar onderwijs-AI een hoog risico krijgt en wie de verplichting draagt.

• De verordening kent geen sectorbreed regime voor onderwijs

  De verordening kent geen sectorbreed regime voor onderwijs. Bijlage III, punt 3, is het gebied met een hoog risico met het opschrift “Onderwijs en beroepsopleiding”. Deze website gebruikt het woord onderwijs voor AI die via dat punt onder de verordening valt. Punt 3 noemt vier toepassingen. a) AI-systemen die bedoeld zijn om te worden gebruikt voor het bepalen van toegang of toelating tot of het toewijzen van natuurlijke personen aan instellingen voor onderwijs en beroepsonderwijs op alle niveaus. b) AI-systemen die bedoeld zijn om te worden gebruikt voor het evalueren van leerresultaten, ook wanneer die resultaten worden gebruikt voor het sturen van het leerproces van natuurlijke personen. c) AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van het passende onderwijsniveau dat een persoon zal ontvangen of waartoe hij toegang zal hebben. d) AI-systemen die bedoeld zijn om te worden gebruikt voor het monitoren en detecteren van ongeoorloofd gedrag van studenten tijdens toetsen. Elke toepassing is gekoppeld aan instellingen voor onderwijs en beroepsonderwijs op alle niveaus. Punt 3 noemt plagiaat- of AI-tekstdetectie, voorspelling van schooluitval, leerdashboards, administratieve chatbots of adaptief leren niet als zodanig. Een systeem voor een van deze toepassingen heeft alleen een hoog risico als het beoogde doel overeenkomt met een van de vier toepassingen, of als een ander punt van bijlage III of bijlage I het omvat.

• Het afleiden van emoties in onderwijsinstellingen: verboden, met een uitzondering om medische of veiligheidsredenen

  Artikel 5, lid 1, punt f), verbiedt het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het onderwijs af te leiden, behalve wanneer het gebruik van het AI-systeem is bedoeld om uit medische of veiligheidsoverwegingen te worden ingevoerd of in de handel te worden gebracht. Het verbod geldt vanaf 2 februari 2025 (artikel 113, punt a)). Het is een verbod, geen toepassing met een hoog risico: de uitzondering schept geen verplichting en is geen aanknopingspunt in bijlage III. Een inbreuk wordt beboet met maximaal 35 miljoen EUR of, voor een onderneming, maximaal 7 % van de totale wereldwijde jaaromzet, als dat bedrag hoger is (artikel 99, lid 3). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6).

• Artikel 6, lid 3, kan een systeem uit bijlage III halen

  Een systeem onder punt 3 is een AI-systeem met een hoog risico op grond van artikel 6, lid 2. In afwijking daarvan wordt een in bijlage III bedoeld AI-systeem volgens artikel 6, lid 3, niet als AI-systeem met een hoog risico beschouwd wanneer het geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt, onder meer doordat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt. Dat geldt wanneer aan een van de volgende vier voorwaarden is voldaan: a) het AI-systeem is bedoeld om een beperkte procedurele taak uit te voeren; b) het is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren; c) het is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden; of d) het is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen. Een AI-systeem uit bijlage III is altijd een AI-systeem met een hoog risico wanneer het profilering van natuurlijke personen uitvoert (artikel 3, punt 52, artikel 4, punt 4, AVG). Een aanbieder die van mening is dat zijn AI-systeem uit bijlage III geen hoog risico inhoudt, documenteert zijn beoordeling voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld en registreert het (artikel 6, lid 4, artikel 49, lid 2). Of een bepaald onderwijssysteem profilering uitvoert, is een vraag voor een jurist.

• Aanbieder en gebruiksverantwoordelijke

  De aanbieder ontwikkelt een AI-systeem, of laat het ontwikkelen. Hij brengt het onder eigen naam of merk in de handel of stelt het onder eigen naam of merk in gebruik (artikel 3, punt 3). Onder in gebruik stellen valt ook de levering voor eigen gebruik van de aanbieder (artikel 3, punt 11). Een school, universiteit of examenorgaan die een systeem onder eigen verantwoordelijkheid gebruikt, is een gebruiksverantwoordelijke (artikel 3, punt 4). Een universiteit die een systeem ontwikkelt en onder eigen naam voor eigen gebruik in gebruik stelt, is dus een aanbieder. Een gebruiksverantwoordelijke wordt in drie gevallen de aanbieder van een AI-systeem met een hoog risico. Hij zet zijn naam of merk op een systeem dat al in de handel is gebracht, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Hij brengt een substantiële wijziging aan in zo’n systeem, waardoor het een AI-systeem met een hoog risico blijft. Of hij wijzigt het beoogde doel van een niet als hoog risico geclassificeerd systeem, zodat het een AI-systeem met een hoog risico wordt (artikel 25, lid 1).

• Datums

  Hoofdstuk III, afdelingen 1 tot en met 3, waartoe de artikelen 9 tot en met 15, 17, 26 en 27 behoren, gelden voor AI-systemen die op grond van artikel 6, lid 2, en bijlage III als AI-systeem met een hoog risico zijn geclassificeerd, vanaf 2 december 2027 (artikel 113, punt c), i)). Een AI-systeem met een hoog risico dat vóór die datum in de handel is gebracht of in gebruik is gesteld, valt er alleen onder als het ontwerp vanaf die datum aanzienlijk wordt gewijzigd. In ieder geval ondernemen de aanbieders en gebruiksverantwoordelijken van AI-systemen met een hoog risico die bedoeld zijn om door overheidsinstanties te worden gebruikt, de nodige stappen om uiterlijk op 2 augustus 2030 aan de eisen en verplichtingen van deze verordening te voldoen (artikel 111, lid 2). De verordening vermeldt niet of dit ook geldt voor systemen die na 2 december 2027 in de handel zijn gebracht of in gebruik zijn gesteld; dat is een vraag voor een jurist.

• Boetes

  Aanbieders moeten ervoor zorgen dat hun AI-systemen met een hoog risico voldoen aan de eisen van afdeling 2 van hoofdstuk III, waartoe de artikelen 9 tot en met 15 behoren (artikel 16, punt a)). Een inbreuk op de verplichtingen van aanbieders in artikel 16 of van gebruiksverantwoordelijken in artikel 26 kan worden beboet met maximaal 15 miljoen EUR of, als de overtreder een onderneming is, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet in het voorafgaande boekjaar, als dat bedrag hoger is (artikel 99, lid 4, punten a) en e)). Voor mkb-bedrijven, met inbegrip van start-ups, geldt voor elke boete als maximum het lagere van de twee grenzen (artikel 99, lid 6). Hetzelfde geldt voor kleine midcapondernemingen (artikel 3, punt 14 ter, artikel 99, lid 6 bis). Elke lidstaat stelt regels vast betreffende de vraag in hoeverre boeten kunnen worden opgelegd aan overheidsinstanties en -organen (artikel 99, lid 8).

• Systemen en toepassingen buiten de verordening

  De verordening is van toepassing op aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd of er zich bevinden, en op aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt (artikel 2, lid 1, punten a) en c)). Zij is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet in geen geval afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid (artikel 2, lid 3). Zij is niet van toepassing op AI-systemen wanneer en in zover die uitsluitend in de handel worden gebracht, in gebruik worden gesteld of, al dan niet gewijzigd, worden gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, en evenmin op AI-systemen die niet in de Unie in de handel worden gebracht of in gebruik worden gesteld en waarvan de output in de Unie uitsluitend wordt gebruikt voor dergelijke doeleinden (artikel 2, lid 3). Zij is niet van toepassing op AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel (artikel 2, lid 6). Zij is niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten voordat een systeem in de handel wordt gebracht of in gebruik wordt gesteld; testen onder reële omstandigheden vallen niet onder die uitsluiting (artikel 2, lid 8). Zij is niet van toepassing op verplichtingen van gebruiksverantwoordelijken die natuurlijke personen zijn die AI-systemen gebruiken in het kader van een louter persoonlijke niet-professionele activiteit (artikel 2, lid 10). AI-systemen die worden vrijgegeven onder vrije en opensourcelicenties vallen buiten de verordening, tenzij ze als AI-systeem met een hoog risico in de handel worden gebracht of in gebruik worden gesteld, of onder artikel 5 of 50 vallen (artikel 2, lid 12).

• Geen risicolijst of testwaarden voor onderwijs

  Artikel 9 noemt geen risico’s, maatstaven of drempelwaarden voor systemen voor toelating, cijfergeving of toetsmonitoring. De aanbieder stelt de risico’s van zijn eigen systeem vast en bepaalt de maatstaven en drempels die passen bij het beoogde doel (artikel 9, leden 2 en 8). De verordening zelf noemt geen geharmoniseerde norm. AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de eisen van afdeling 2, voor zover die normen die eisen dekken (artikel 40, lid 1). De Commissie ontwikkelt richtsnoeren over de toepassing van de artikelen 8 tot en met 15, 25 en 26 (artikel 96, lid 1, punt a)).

• Combineren met andere Unieregels voor risicobeheer

  Aanbieders die op grond van ander relevant Unierecht onderworpen zijn aan eisen met betrekking tot interne risicobeheerprocessen, mogen de aspecten in artikel 9, leden 1 tot en met 9, deel laten uitmaken van de procedures op grond van dat recht, of ermee combineren (artikel 9, lid 10). De verordening noemt voor onderwijs geen dergelijk recht.

• Voorbeeld: risico’s voor een toelatingssysteem

  Voorbeeld, geen vereiste van de verordening: de aanbieder van een systeem dat aanvragers rangschikt, zou het risico kunnen benoemen dat aanvragers uit één groep systematisch lager worden gerangschikt. Hij zou op dat risico kunnen testen aan de hand van een maatstaf die vóór het testen is vastgesteld, en het resultaat kunnen vastleggen.

• Voorbeeld: risico’s voor een systeem voor toetsmonitoring

  Voorbeeld, geen vereiste van de verordening: de aanbieder van een systeem dat ongeoorloofd gedrag tijdens toetsen opspoort, zou zich kunnen afvragen of het studenten met een handicap vaker markeert dan andere studenten, en of het systeem wordt gebruikt bij personen jonger dan 18 jaar (artikel 9, lid 9). Hij zou dan kunnen besluiten welke ontwerpwijziging of gebruiksaanwijzing dat risico zou beperken.

• Artikel 9: systeem voor risicobeheer voor hoogrisico-AI

  Artikel 9 voor alle sectoren: de eisen, datums en boetes.

• AI-verordening edtech: naleving in onderwijs

  Het overzicht voor onderwijs: hoe de verordening AI voor toelating, cijfergeving, niveaubeoordeling en toetsmonitoring bereikt.

• Artikel 10 voor onderwijs-AI: data en datagovernance

  Onderwijs-AI en artikel 10: datasets, beoordeling op vooringenomenheid en bijzondere categorieën persoonsgegevens.

• Artikel 6: classificatie van hoogrisico-AI-systemen

  Hoe artikel 6 AI-systemen met een hoog risico classificeert, inclusief de uitzondering van artikel 6, lid 3.