Artikel 15 voor rechtshandhaving: nauwkeurigheid, robuustheid en cyberbeveiliging

De verordening kent geen sectorbreed regime voor rechtshandhaving; bijlage III, punt 6 is het hoogrisicogebied met de kop “Rechtshandhaving”. Zij definieert rechtshandhaving als activiteiten die worden verricht door of namens rechtshandhavingsinstanties met het oog op de voorkoming van, het onderzoek naar, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid (art. 3, punt 46). Een rechtshandhavingsinstantie is een overheidsinstantie die voor die taken bevoegd is, of een ander orgaan dat krachtens het recht van een lidstaat is gemachtigd om daarvoor openbaar gezag uit te oefenen (art. 3, punt 45).

bijlage III, punt 6 noemt vijf toepassingen door of namens rechtshandhavingsinstanties, of door instellingen, organen en instanties van de Unie ter ondersteuning daarvan, als hoogrisico, voor zover het gebruik ervan is toegestaan op grond van het toepasselijke Unie- of nationale recht: het beoordelen van het risico dat een persoon slachtoffer wordt van strafbare feiten (a); leugendetectors en soortgelijke hulpmiddelen (b); het beoordelen van de betrouwbaarheid van bewijsmateriaal (c); het beoordelen van het risico dat een persoon een strafbaar feit pleegt of opnieuw pleegt, niet uitsluitend op basis van profilering, of het beoordelen van persoonlijkheidskenmerken of eerder crimineel gedrag (d); en profilering tijdens de opsporing, het onderzoek of de vervolging van strafbare feiten (e). De verordening bevat geen aparte vermelding voor criminaliteitsanalyse of predictive policing als zodanig.

Politiewerk kan ook vallen onder bijlage III, punt 1 (biometrische identificatie op afstand, biometrische categorisering op basis van gevoelige of beschermde kenmerken, emotieherkenning) en bijlage III, punt 7 (migratie, asiel en grenstoezicht). Voor beide punten geldt dezelfde voorwaarde: het gebruik moet zijn toegestaan op grond van het toepasselijke Unie- of nationale recht. bijlage III, punt 8, onder a) betreft systemen die worden gebruikt door of namens een gerechtelijke instantie.

De verordening is niet van toepassing op AI-systemen die uitsluitend voor militaire doeleinden, defensiedoeleinden of doeleinden van nationale veiligheid worden gebruikt (art. 2, lid 3). Sommige toepassingen bij rechtshandhaving zijn sinds 2 februari 2025 verboden in plaats van hoogrisico (art. 113, punt a)): een risicobeoordeling waarmee wordt voorspeld dat iemand een strafbaar feit zal plegen, uitsluitend op basis van profilering of persoonlijkheidskenmerken, tenzij zij alleen een menselijke beoordeling ondersteunt die al is gebaseerd op objectieve en verifieerbare feiten die rechtstreeks verband houden met een criminele activiteit (art. 5, lid 1, punt d)); gezichtsherkenningsdatabanken die worden aangelegd door het ongerichte scrapen van gezichtsafbeeldingen van internet of camerabeelden (art. 5, lid 1, punt e)); en biometrische identificatie op afstand “in real time” in openbare ruimten, tenzij strikt noodzakelijk voor een doel dat is genoemd in art. 5, lid 1, punt h) en met inachtneming van art. 5, leden 2 tot en met 7. De verordening is evenmin van toepassing op gebieden die buiten de werkingssfeer van het Unierecht vallen (art. 2, lid 3); op overheidsinstanties van derde landen en internationale organisaties die AI-systemen gebruiken in het kader van internationale samenwerking of overeenkomsten voor samenwerking op het gebied van rechtshandhaving en justitie met de Unie of een of meer lidstaten, mits passende waarborgen voor de bescherming van de grondrechten en fundamentele vrijheden worden geboden (art. 2, lid 4); en op AI-systemen die onder vrije en opensourcelicenties worden vrijgegeven, tenzij zij als hoogrisicosystemen in de handel worden gebracht of in gebruik worden gesteld of onder artikel 5 of 50 vallen (art. 2, lid 12). Natuurlijke personen die een systeem gebruiken in het kader van een zuiver persoonlijke, niet-beroepsmatige activiteit vallen buiten de verplichtingen van gebruiksverantwoordelijken (art. 2, lid 10).

Artikel 15 bevat geen regel specifiek voor rechtshandhaving en stelt geen numerieke drempel voor nauwkeurigheid. Hoogrisicosystemen moeten een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bereiken en gedurende hun hele levenscyclus consistent presteren (art. 15, lid 1).

De nauwkeurigheidsniveaus en de relevante nauwkeurigheidsmetriek moeten worden opgegeven in de bijbehorende gebruiksaanwijzing (art. 15, lid 3). De Commissie moet waar passend de ontwikkeling van benchmarks en meetmethoden aanmoedigen; dat lid legt aanbieders geen plicht op (art. 15, lid 2).

Systemen moeten zo bestand mogelijk zijn tegen fouten, storingen of inconsistenties in het systeem of de omgeving waarin het werkt, met name door de interactie met natuurlijke personen of andere systemen; back-up- of veiligheidsplannen zijn een manier om dat te bereiken. Systemen die blijven leren nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, moeten zo worden ontwikkeld dat het risico dat bevooroordeelde output de input voor toekomstige operaties beïnvloedt (feedbackloops), zoveel mogelijk wordt weggenomen of verkleind (art. 15, lid 4). Voorbeeld: een systeem dat blijft leren van gegevens die zijn gevormd door zijn eigen eerdere output, is een geval waarin dit lid aandacht vraagt.

Systemen moeten bestand zijn tegen pogingen van onbevoegde derden om het gebruik, de output of de prestaties ervan te wijzigen door misbruik te maken van kwetsbaarheden van het systeem. De technische oplossingen moeten passen bij de omstandigheden en de risico’s en omvatten waar passend maatregelen tegen datavergiftiging, modelvergiftiging, vijandige voorbeelden of modelontwijking, aanvallen op de vertrouwelijkheid en modelgebreken (art. 15, lid 5).

De verordening noemt zelf geen norm. Systemen die in overeenstemming zijn met geharmoniseerde normen waarvan de referenties in het Publicatieblad zijn bekendgemaakt, worden geacht te voldoen aan de eisen van afdeling 2 die die normen bestrijken (art. 40, lid 1). Systemen die zijn gecertificeerd of waarvoor een conformiteitsverklaring is afgegeven in het kader van een cyberbeveiligingsregeling krachtens Verordening (EU) 2019/881, waarvan de referenties zijn bekendgemaakt, worden geacht te voldoen aan de cyberbeveiligingseisen van artikel 15 voor zover het certificaat of de verklaring die bestrijkt (art. 42, lid 2). Hoogrisicosystemen die binnen het toepassingsgebied van Verordening (EU) 2024/2847 vallen en voldoen aan de voorwaarden van artikel 12, lid 1, daarvan, worden geacht aan die cyberbeveiligingseisen te voldoen (art. 42, lid 3).

Aanbieders zorgen ervoor dat hoogrisicosystemen voldoen aan de eisen van afdeling 2, waartoe artikel 15 behoort (art. 16, lid a). Gebruiksverantwoordelijken, zoals politiekorpsen, gebruiken het systeem overeenkomstig de gebruiksaanwijzing (art. 26, lid 1), waarin de nauwkeurigheidsniveaus staan. Een instantie die haar naam of merk op een reeds in de handel gebracht hoogrisicosysteem aanbrengt of daar een substantiële wijziging in aanbrengt, wordt als aanbieder beschouwd (art. 25, lid 1).

Het systeem van de aanbieder voor monitoring na het in de handel brengen verzamelt gegevens over de prestaties van hoogrisicosystemen gedurende hun hele levensduur. Die verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn (art. 72, lid 2).

Aanbieders tonen de naleving van de eisen van afdeling 2 aan via een conformiteitsbeoordeling. Voor de punten 2 tot en met 8 van bijlage III, waaronder punt 6, is dat interne controle volgens bijlage VI (art. 43, lid 2). Voor punt 1 mag de aanbieder alleen voor interne controle kiezen als hij geharmoniseerde normen of gemeenschappelijke specificaties heeft toegepast; anders geldt bijlage VII. Daarbij treedt, wanneer het systeem bestemd is om in gebruik te worden gesteld door rechtshandhavings-, immigratie- of asielinstanties of door instellingen, organen en instanties van de Unie, de in art. 74, lid 8 of art. 74, lid 9 bedoelde markttoezichtautoriteit op als aangemelde instantie (art. 43, lid 1). In afwijking van artikel 43 kan een markttoezichtautoriteit specifieke hoogrisico-AI-systemen toestaan om uitzonderlijke redenen, waaronder openbare veiligheid (art. 46, lid 1); rechtshandhavingsinstanties hebben een spoedroute in art. 46, lid 2.

Hoofdstuk III, afdelingen 1 tot en met 3, geldt vanaf 2 december 2027 voor AI-systemen die op grond van artikel 6, lid 2, en bijlage III als hoogrisico zijn ingedeeld (art. 113, punt c), i)). Hoogrisicosystemen die vóór die datum in de handel zijn gebracht of in gebruik zijn gesteld, vallen er alleen onder als zij vanaf die datum aanzienlijke wijzigingen in hun ontwerp ondergaan. In elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (art. 111, lid 2). AI-systemen die onderdeel zijn van de grootschalige IT-systemen die zijn opgezet door de in bijlage X genoemde rechtshandelingen en die vóór 2 augustus 2027 in de handel zijn gebracht of in gebruik zijn gesteld, moeten uiterlijk 31 december 2030 aan de verordening worden aangepast (art. 111, lid 1).

Artikel 15 stelt eisen aan het systeem zelf. Aanbieders moeten zorgen dat daaraan wordt voldaan (art. 16, lid a), en art. 99, lid 4, punt a) betreft de verplichtingen voor aanbieders op grond van artikel 16. Boeten op grond van art. 99, lid 4 bedragen maximaal 15 miljoen EUR of, indien de overtreder een onderneming is, maximaal 3 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, indien dat hoger is. Voor mkb-bedrijven, waaronder start-ups (art. 99, lid 6), en kleine midcapondernemingen (art. 3, punt 14b, art. 99, lid 6a) bedraagt elke boete maximaal het laagste van beide bedragen.

Elke lidstaat stelt regels vast over de mate waarin administratieve boeten kunnen worden opgelegd aan overheidsinstanties en -organen die in die lidstaat zijn gevestigd (art. 99, lid 8). Aan instellingen, organen en instanties van de Unie kan de Europese Toezichthouder voor gegevensbescherming voor andere inbreuken dan die op art. 5 boeten opleggen tot 750 000 EUR (art. 100, lid 3).