Skip to main content

Artikel 14 AI-verordening: menselijk toezicht & stopknop

Artikel 14 eist dat hoogrisico-AI-systemen doeltreffend onder menselijk toezicht kunnen staan. Deze gids behandelt de benodigde mogelijkheden, de stopknop en gangbare toezichtpatronen.

Aanbieders van hoogrisico-AI-systemen moeten deze zo ontwerpen dat mensen er tijdens het gebruik doeltreffend toezicht op kunnen houden (artikel 14).

Wie toezicht houdt, moet, voor zover passend en evenredig, het systeem kunnen begrijpen, monitoren, de output kunnen negeren en het systeem kunnen stoppen. Dit geldt voor in de EU in de handel gebrachte of in gebruik gestelde systemen. Het geldt vanaf 2 december 2027 (bijlage III) en vanaf 2 augustus 2028 (bijlage I). De boetes bedragen maximaal 15 miljoen EUR of 3 % van de wereldwijde jaaromzet, als dat bedrag hoger is (artikel 99(4)). Volgende stap: maak een lijst van de bediening die uw systeem aan deze personen geeft.

Wie toezicht houdt, moet het systeem kunnen begrijpen, monitoren, negeren en stoppen

Artikel 14(4) noemt vijf mogelijkheden die het systeem moet bieden, voor zover passend en evenredig. De aanbieder bouwt sommige maatregelen in het systeem in en bepaalt andere die de gebruiksverantwoordelijke uitvoert (artikel 14(3)).

Begrijpen en monitoren

Wie toezicht houdt, kan de mogelijkheden en beperkingen van het systeem goed begrijpen en de werking naar behoren monitoren, ook om onregelmatigheden, storingen en onverwachte prestaties op te sporen en aan te pakken (artikel 14(4), punt a)).

Alert blijven en juist interpreteren

Wie toezicht houdt, blijft zich bewust van automation bias, de neiging om te veel op de output van het systeem te vertrouwen, en kan de output juist interpreteren (artikel 14(4), punten b) en c)).

Negeren en stoppen

Wie toezicht houdt, kan besluiten het systeem niet te gebruiken of de output te negeren, door een andere beslissing te vervangen of terug te draaien. Ook kan hij ingrijpen in de werking van het systeem of het onderbreken met een stopknop of vergelijkbare procedure waarmee het systeem op veilige wijze kan worden stopgezet (artikel 14(4), punten d) en e)).

Controle door twee personen bij biometrische identificatie op afstand

Bij systemen uit bijlage III, punt 1, a), mag de gebruiksverantwoordelijke pas op een identificatie handelen nadat ten minste twee personen die apart hebben geverifieerd en bevestigd (artikel 14(5)). Zij moeten de nodige bekwaamheid, opleiding en bevoegdheid hebben. Het vereiste geldt niet voor rechtshandhaving, migratie, grenstoezicht en asiel, als het Unierecht of het nationale recht het onevenredig acht.

Wie toezicht houdt, moet het systeem veilig tot stilstand kunnen brengen

Artikel 14(4), punt e), eist dat wie toezicht houdt het systeem kan onderbreken met een stopknop of vergelijkbare procedure waarmee het systeem op veilige wijze kan worden stopgezet. De verordening schrijft niet voor hoe; de drie punten hieronder zijn ontwerpkeuzes.

Noodstop

Bied een bediening die het systeem veilig stopt en test dat die ook bij systeemfouten werkt. Een mogelijk ontwerp: geen nieuwe verzoeken meer aannemen en lopende verzoeken laten afronden.

Terugvalmodus

Bepaal wat er na een stop gebeurt: gevallen doorsturen naar menselijke beoordelaars, regelgebaseerde standaardwaarden gebruiken of helemaal pauzeren. Documenteer en test de terugval.

Log van stops en ingrepen

Leg elke stop en ingreep vast met tijd, operator, reden en systeemstatus. Dit is een ontwerpkeuze die u bewijs geeft van hoe het toezicht werkte.

Toezichtmaatregelen moeten passen bij risico, autonomie en context

Artikel 14(3) eist toezichtmaatregelen die passen bij de risico’s, het autonomieniveau en de gebruikscontext van het systeem. De drie patronen hieronder zijn gangbare ontwerptermen, geen termen uit de verordening.

Human-in-the-loop

Een persoon keurt elke beslissing goed voordat die van kracht wordt. Dit past bij beslissingen met ernstige gevolgen.

Human-on-the-loop

Het systeem werkt zelfstandig; een persoon monitort het en kan op elk moment ingrijpen.

Human-in-command

Een persoon bepaalt de grenzen en gebruiksvoorwaarden en kan elke beslissing negeren of het systeem uitschakelen.

Artikel 14 geldt alleen voor hoogrisico-AI-systemen

Een systeem heeft een hoog risico als het onder een gebied van bijlage III valt, tenzij een uitzondering van artikel 6(3) geldt. Een systeem dat natuurlijke personen profileert, heeft altijd een hoog risico. Het heeft ook een hoog risico als het een product uit bijlage I is dat een conformiteitsbeoordeling door een derde partij vereist, of een veiligheidscomponent daarvan (artikel 6). Aanbieders vallen eronder als zij een systeem in de EU in de handel brengen of in gebruik stellen, waar zij ook gevestigd zijn (artikel 2(1), punt a)). Aanbieders en gebruiksverantwoordelijken in een derde land vallen er ook onder als de output van het systeem in de EU wordt gebruikt (artikel 2(1), punt c)). Hoogrisicosystemen die horen bij producten onder de wetten van bijlage I, afdeling B, vallen buiten artikel 14 (artikel 2(2)). Voor producten uit bijlage I, afdeling A, kunnen sommige eisen worden beperkt (artikel 2(13)). Dit betreft de artikelen 9 tot en met 15 en 17 tot en met 25, als sectorwetgeving een gelijkwaardige of hogere bescherming biedt. Gedelegeerde handelingen die uiterlijk 2 augustus 2027 volgen, bepalen welke. De verordening sluit militaire, defensie- en nationale veiligheidstoepassingen uit, en systemen die uitsluitend voor wetenschappelijk onderzoek zijn ontwikkeld (artikel 2(3) en (6)). Ook onderzoek en tests vóór het in de handel brengen vallen erbuiten (artikel 2(8)). Systemen die vóór de datum van toepassing al in de handel waren of in gebruik waren gesteld, vallen er alleen onder na ingrijpende ontwerpwijzigingen. In elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111(2)).

Veelgestelde vragen: toezichthouders, dashboards, verantwoordelijkheid en boetes

Wie komt in aanmerking als menselijke toezichthouder?

Een natuurlijke persoon met de nodige bekwaamheid, opleiding en bevoegdheid, plus de ondersteuning die nodig is. De gebruiksverantwoordelijke wijst het toezicht aan zulke personen toe (artikel 26(2)). Het systeem moet hen in staat stellen het te begrijpen, de output te negeren en het te stoppen (artikel 14(4)).

Is een dashboard genoeg?

Nee. Een dashboard ondersteunt monitoring (artikel 14(4), punt a)). Maar wie toezicht houdt, moet ook de output kunnen negeren of terugdraaien en het systeem kunnen stoppen (artikel 14(4), punten d) en e)). Voeg bediening toe naast het dashboard.

Wie is verantwoordelijk, de aanbieder of de gebruiksverantwoordelijke?

Beiden. De aanbieder bepaalt de toezichtmaatregelen vóór het in de handel brengen of in gebruik stellen. Hij bouwt ze in waar dat technisch haalbaar is, bepaalt ze voor uitvoering door de gebruiksverantwoordelijke, of doet beide (artikel 14(3)). De gebruiksverantwoordelijke wijst het toezicht toe aan bekwame personen en gebruikt het systeem volgens de gebruiksaanwijzing (artikel 26(1) en (2)).

Wat zijn de boetes, en geldt voor mkb-bedrijven een lager maximum?

Voor aanbieders (artikel 16) en gebruiksverantwoordelijken (artikel 26) bedragen de boetes maximaal 15 miljoen EUR of 3 % van de wereldwijde jaaromzet, als dat bedrag hoger is (artikel 99(4)). Voor mkb-bedrijven, inclusief start-ups, en kleine midcapondernemingen is het maximum het lagere van de twee bedragen (artikel 99(6) en (6 bis)). De lidstaten stellen de sanctieregels vast (artikel 99(1)).

Lees daarna: risicobeheer, registratie en plichten van gebruiksverantwoordelijken

Scanara bereidt bewijs voor vanuit uw repositories

Scanara leest uw gekoppelde GitHub-repositories en voert regelgebaseerde scans uit op gangbare AI- en machine-learningpatronen. Niet-standaardcode kan het missen. Daarnaast genereert het conceptdocumentatie op basis van sjablonen en uw antwoorden in de beoordelingen, als bewijs voor uw compliancewerk. De indeling bepaalt u zelf.