Artikel 17 voor rechtshandhaving: kwaliteitsbeheersysteem

De verordening kent geen sectorbreed regime voor rechtshandhaving; bijlage III, punt 6 is het hoogrisicogebied met de kop “Rechtshandhaving”. Zij definieert rechtshandhaving als activiteiten die worden verricht door of namens rechtshandhavingsinstanties met het oog op de voorkoming van, het onderzoek naar, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid (art. 3, punt 46). Een rechtshandhavingsinstantie is een overheidsinstantie die voor die taken bevoegd is, of een ander orgaan dat krachtens het recht van een lidstaat is gemachtigd om daarvoor openbaar gezag uit te oefenen (art. 3, punt 45).

bijlage III, punt 6 noemt vijf toepassingen door of namens rechtshandhavingsinstanties, of door instellingen, organen en instanties van de Unie ter ondersteuning daarvan, als hoogrisico, voor zover het gebruik ervan is toegestaan op grond van het toepasselijke Unie- of nationale recht: het beoordelen van het risico dat een persoon slachtoffer wordt van strafbare feiten (a); leugendetectors en soortgelijke hulpmiddelen (b); het beoordelen van de betrouwbaarheid van bewijsmateriaal (c); het beoordelen van het risico dat een persoon een strafbaar feit pleegt of opnieuw pleegt, niet uitsluitend op basis van profilering, of het beoordelen van persoonlijkheidskenmerken of eerder crimineel gedrag (d); en profilering tijdens de opsporing, het onderzoek of de vervolging van strafbare feiten (e). De verordening bevat geen aparte vermelding voor criminaliteitsanalyse of predictive policing als zodanig.

Politiewerk kan ook vallen onder bijlage III, punt 1 (biometrische identificatie op afstand, biometrische categorisering op basis van gevoelige of beschermde kenmerken, emotieherkenning) en bijlage III, punt 7 (migratie, asiel en grenstoezicht). Voor beide punten geldt dezelfde voorwaarde: het gebruik moet zijn toegestaan op grond van het toepasselijke Unie- of nationale recht. bijlage III, punt 8, onder a) betreft systemen die worden gebruikt door of namens een gerechtelijke instantie.

De verordening is niet van toepassing op AI-systemen die uitsluitend voor militaire doeleinden, defensiedoeleinden of doeleinden van nationale veiligheid worden gebruikt (art. 2, lid 3). Sommige toepassingen bij rechtshandhaving zijn sinds 2 februari 2025 verboden in plaats van hoogrisico (art. 113, punt a)): een risicobeoordeling waarmee wordt voorspeld dat iemand een strafbaar feit zal plegen, uitsluitend op basis van profilering of persoonlijkheidskenmerken, tenzij zij alleen een menselijke beoordeling ondersteunt die al is gebaseerd op objectieve en verifieerbare feiten die rechtstreeks verband houden met een criminele activiteit (art. 5, lid 1, punt d)); gezichtsherkenningsdatabanken die worden aangelegd door het ongerichte scrapen van gezichtsafbeeldingen van internet of camerabeelden (art. 5, lid 1, punt e)); en biometrische identificatie op afstand “in real time” in openbare ruimten, tenzij strikt noodzakelijk voor een doel dat is genoemd in art. 5, lid 1, punt h) en met inachtneming van art. 5, leden 2 tot en met 7. De verordening is evenmin van toepassing op gebieden die buiten de werkingssfeer van het Unierecht vallen (art. 2, lid 3); op overheidsinstanties van derde landen en internationale organisaties die AI-systemen gebruiken in het kader van internationale samenwerking of overeenkomsten voor samenwerking op het gebied van rechtshandhaving en justitie met de Unie of een of meer lidstaten, mits passende waarborgen voor de bescherming van de grondrechten en fundamentele vrijheden worden geboden (art. 2, lid 4); en op AI-systemen die onder vrije en opensourcelicenties worden vrijgegeven, tenzij zij als hoogrisicosystemen in de handel worden gebracht of in gebruik worden gesteld of onder artikel 5 of 50 vallen (art. 2, lid 12). Natuurlijke personen die een systeem gebruiken in het kader van een zuiver persoonlijke, niet-beroepsmatige activiteit vallen buiten de verplichtingen van gebruiksverantwoordelijken (art. 2, lid 10).

Artikel 17 bevat geen regel specifiek voor rechtshandhaving. Aanbieders van hoogrisicosystemen moeten een kwaliteitsbeheersysteem invoeren. Het wordt systematisch en ordelijk gedocumenteerd in de vorm van schriftelijke beleidslijnen, procedures en instructies (art. 17, lid 1).

De verordening noemt 13 onderdelen, de punten a) tot en met m), die het systeem ten minste omvat: een strategie voor naleving van de regelgeving, met inbegrip van conformiteitsbeoordelingsprocedures en procedures voor het beheer van wijzigingen; procedures voor ontwerp, ontwikkeling, kwaliteitscontrole, onderzoek, testen en validatie; technische specificaties, waaronder normen; gegevensbeheer; het risicobeheersysteem van artikel 9; de monitoring na het in de handel brengen van artikel 72; de melding van ernstige incidenten van artikel 73; communicatie met autoriteiten, aangemelde instanties, andere operatoren en klanten; het bijhouden van gegevens; resourcebeheer, waaronder maatregelen voor leveringszekerheid; en een verantwoordingskader (art. 17, lid 1).

De uitvoering is evenredig met de omvang van de organisatie van de aanbieder, in het bijzonder als het een mkb-bedrijf is, waaronder een start-up, of een kleine midcaponderneming (art. 3, punt 14b). Aanbieders moeten in elk geval de mate van striktheid en het beschermingsniveau naleven die nodig zijn om hun hoogrisicosystemen aan de verordening te laten voldoen (art. 17, lid 2).

art. 16, lid c legt het kwaliteitsbeheersysteem bij de aanbieders. Een gebruiksverantwoordelijke bij de politie heeft geen verplichting uit hoofde van artikel 17. Een rechtshandhavingsinstantie die een systeem laat ontwikkelen en onder haar eigen naam in gebruik stelt, is aanbieder (art. 3, punt 3). Een gebruiksverantwoordelijke die op grond van art. 25, lid 1 als aanbieder wordt beschouwd, is dat ook.

Het kwaliteitsbeheersysteem omvat een systeem voor monitoring na het in de handel brengen (art. 17, lid 1, punt h)). Dat systeem verzamelt gegevens over de prestaties van hoogrisicosystemen gedurende hun hele levensduur, maar de verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn (art. 72, lid 2).

Voor de punten 2 tot en met 8 van bijlage III, waaronder punt 6, past de aanbieder interne controle toe volgens bijlage VI, waarbij hij verifieert dat zijn kwaliteitsbeheersysteem aan artikel 17 voldoet (art. 43, lid 2, bijlage VI, punt 2). Voor punt 1 staat interne controle alleen open als geharmoniseerde normen of gemeenschappelijke specificaties zijn toegepast; anders geldt bijlage VII, die een onderzoek van het kwaliteitsbeheersysteem omvat (art. 43, lid 1). Bij bijlage VII treedt, wanneer het systeem bestemd is om in gebruik te worden gesteld door rechtshandhavings-, immigratie- of asielinstanties of door instellingen, organen en instanties van de Unie, de in art. 74, lid 8 of art. 74, lid 9 bedoelde markttoezichtautoriteit op als aangemelde instantie. In afwijking van artikel 43 kan een markttoezichtautoriteit specifieke hoogrisico-AI-systemen toestaan om uitzonderlijke redenen, waaronder openbare veiligheid (art. 46, lid 1); rechtshandhavingsinstanties hebben een spoedroute in art. 46, lid 2.

Hoofdstuk III, afdelingen 1 tot en met 3, geldt vanaf 2 december 2027 voor AI-systemen die op grond van artikel 6, lid 2, en bijlage III als hoogrisico zijn ingedeeld (art. 113, punt c), i)). Hoogrisicosystemen die vóór die datum in de handel zijn gebracht of in gebruik zijn gesteld, vallen er alleen onder als zij vanaf die datum aanzienlijke wijzigingen in hun ontwerp ondergaan. In elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (art. 111, lid 2). AI-systemen die onderdeel zijn van de grootschalige IT-systemen die zijn opgezet door de in bijlage X genoemde rechtshandelingen en die vóór 2 augustus 2027 in de handel zijn gebracht of in gebruik zijn gesteld, moeten uiterlijk 31 december 2030 aan de verordening worden aangepast (art. 111, lid 1).

Aanbieders moeten een kwaliteitsbeheersysteem hebben (art. 16, lid c), en art. 99, lid 4, punt a) betreft de verplichtingen voor aanbieders op grond van artikel 16. Boeten op grond van art. 99, lid 4 bedragen maximaal 15 miljoen EUR of, indien de overtreder een onderneming is, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, indien dat hoger is. Voor mkb-bedrijven, waaronder start-ups (art. 99, lid 6), en kleine midcapondernemingen (art. 3, punt 14b, art. 99, lid 6a) bedraagt elke boete maximaal het laagste van beide bedragen.

Elke lidstaat stelt regels vast over de mate waarin administratieve boeten kunnen worden opgelegd aan overheidsinstanties en -organen die in die lidstaat zijn gevestigd (art. 99, lid 8). Aan instellingen, organen en instanties van de Unie kan de Europese Toezichthouder voor gegevensbescherming voor andere inbreuken dan die op art. 5 boeten opleggen tot 750 000 EUR (art. 100, lid 3).