Artikel 15 AI-verordening: nauwkeurigheid, robuustheid en cyberbeveiliging
Artikel 15 eist van hoogrisico-AI-systemen passende nauwkeurigheid, robuustheid en cyberbeveiliging. Deze gids behandelt de eisen en gangbare manieren om ze te testen.
Aanbieders van hoogrisico-AI-systemen moeten deze zo ontwerpen dat ze gedurende hun hele levenscyclus een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden (artikel 15).
Aanbieders moeten nauwkeurigheidsniveaus en maatstaven vermelden in de gebruiksaanwijzing (artikel 15(3)). Dit geldt voor in de EU in de handel gebrachte of in gebruik gestelde systemen. Het geldt vanaf 2 december 2027 (bijlage III) en vanaf 2 augustus 2028 (bijlage I). De boetes bedragen maximaal 15 miljoen EUR of 3 % van de wereldwijde jaaromzet, als dat bedrag hoger is (artikel 99(4)). Volgende stap: kies uw nauwkeurigheidsmaatstaven en test ze.
Artikel 15 in vijf punten
Artikel 15(1) eist een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging en consistente prestaties gedurende de hele levenscyclus. De vijf punten hieronder groeperen de leden 3 tot en met 5. De verordening stelt doelen, geen testmethoden of drempels. De Commissie moedigt benchmarks en meetmethoden aan, samen met metrologie- en benchmarkingautoriteiten (artikel 15(2)).
Vermelde nauwkeurigheidsniveaus en maatstaven
Vermeld de nauwkeurigheidsniveaus en de relevante maatstaven voor de nauwkeurigheid in de gebruiksaanwijzing (artikel 15(3)).
Bestand tegen fouten en storingen
Maak het systeem zo goed mogelijk bestand tegen fouten, storingen en onregelmatigheden in het systeem of de omgeving, ook bij interactie met personen of andere systemen. Neem technische en organisatorische maatregelen; technische redundantie, zoals back-up- of fail-safeplannen, kan robuustheid opleveren (artikel 15(4)).
Beheersing van feedback loops
Blijft het systeem leren nadat het in de handel is gebracht of in gebruik is gesteld, neem dan het risico weg of beperk het zo veel mogelijk dat vertekende outputs toekomstige inputs beïnvloeden (feedback loops). Pak deze loops aan met beperkende maatregelen (artikel 15(4)).
Bestand tegen ongeautoriseerde derden
Het systeem moet bestand zijn tegen pogingen van ongeautoriseerde derden om het gebruik, de outputs of de prestaties te wijzigen via kwetsbaarheden. Cyberbeveiligingsoplossingen moeten aansluiten op de omstandigheden en de risico’s (artikel 15(5)).
Maatregelen tegen AI-specifieke aanvallen
Neem, waar passend, maatregelen om de aanvallen en tekortkomingen uit artikel 15(5) te voorkomen, op te sporen, erop te reageren, ze op te lossen en te beheersen. Dat zijn datavervuiling (gemanipuleerde trainingsdata), modelvervuiling (gemanipuleerde vooraf getrainde componenten), vijandige voorbeelden of modelontwijking (input die fouten uitlokt), aanvallen op vertrouwelijkheid en modeltekortkomingen.
Vier technische stappen die artikel 15 ondersteunen
Artikel 15 schrijft geen testmethode voor. Deze stappen zijn gangbare manieren om aan te tonen dat aan de eisen is voldaan.
Adversarial testing in CI
Voer robuustheidstests met vijandige voorbeelden uit in uw CI/CD-pipeline: genereer vijandige voorbeelden, test de grenzen van het model en controleer de verdediging tegen bekende aanvalspatronen.
Benchmarking van de nauwkeurigheid
Meet de nauwkeurigheid met de maatstaven die u hebt opgegeven, voor elke modelversie, dataset en implementatieomgeving, om verslechtering op te merken.
Redundantie en fail-safe-ontwerp
Bouw terugvalopties voor kritieke paden: back-upmodellen, veiligheidsmonitors en een overdracht aan een persoon als het vertrouwen onder een drempel zakt die u instelt.
Beveiliging van de toeleveringsketen van modellen
Scan afhankelijkheden en basismodellen op kwetsbaarheden en controleer de herkomst van externe modellen en de integriteit van trainingspipelines.
De gebruiksaanwijzing vermeldt het geteste en het verwachte niveau
De gebruiksaanwijzing moet het niveau van nauwkeurigheid, robuustheid en cyberbeveiliging vermelden waarop het systeem is getest en gevalideerd en dat kan worden verwacht. Ze moet ook de bekende omstandigheden vermelden die dat niveau kunnen beïnvloeden (artikel 13(3), punt b), ii)). Bewaar de testresultaten die elk opgegeven niveau onderbouwen.
Artikel 15 geldt alleen voor hoogrisico-AI-systemen
Een systeem heeft een hoog risico als het onder een gebied van bijlage III valt, tenzij een uitzondering van artikel 6(3) geldt. Een systeem dat natuurlijke personen profileert, heeft altijd een hoog risico. Het heeft ook een hoog risico als het een product uit bijlage I is dat een conformiteitsbeoordeling door een derde partij vereist, of een veiligheidscomponent daarvan (artikel 6). Aanbieders vallen eronder als zij een systeem in de EU in de handel brengen of in gebruik stellen, waar zij ook gevestigd zijn (artikel 2(1), punt a)). Aanbieders en gebruiksverantwoordelijken in een derde land vallen er ook onder als de output van het systeem in de EU wordt gebruikt (artikel 2(1), punt c)). Hoogrisicosystemen die horen bij producten onder de wetten van bijlage I, afdeling B, vallen buiten artikel 15 (artikel 2(2)). Voor producten uit bijlage I, afdeling A, kunnen sommige eisen worden beperkt (artikel 2(13)). Dit betreft de artikelen 9 tot en met 15 en 17 tot en met 25, als sectorwetgeving een gelijkwaardige of hogere bescherming biedt. Gedelegeerde handelingen die uiterlijk 2 augustus 2027 volgen, bepalen welke. De verordening sluit militaire, defensie- en nationale veiligheidstoepassingen uit, en systemen die uitsluitend voor wetenschappelijk onderzoek zijn ontwikkeld (artikel 2(3) en (6)). Ook onderzoek en tests vóór het in de handel brengen vallen erbuiten (artikel 2(8)). Systemen die vóór de datum van toepassing al in de handel waren of in gebruik waren gesteld, vallen er alleen onder na ingrijpende ontwerpwijzigingen. In elk geval moeten aanbieders en gebruiksverantwoordelijken van hoogrisico-AI-systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, uiterlijk 2 augustus 2030 de nodige stappen ondernemen om te voldoen (artikel 111(2)).
Veelgestelde vragen: drempels, testen, certificering en boetes
Welke nauwkeurigheidsdrempel is “passend”?
De verordening noemt geen getal en zegt niet welk niveau voor welk gebruik passend is. Ze eist een passend niveau, vermeld met de maatstaven in de gebruiksaanwijzing (artikel 15(1) en (3)). Vermeld de maatstaf die u gebruikt en het resultaat dat u hebt gemeten.
Is formele red teaming verplicht?
Nee. Artikel 15 noemt geen testmethode. Artikel 15(5) eist maatregelen tegen aanvallen zoals datavervuiling en vijandige voorbeelden, en adversarial testing is een manier om te laten zien dat die maatregelen werken.
Hoe wordt robuustheid in de praktijk getest?
Gangbare methoden zijn foutinjectie, het genereren van vijandige voorbeelden, grenstests en degradatiescenario’s, met beschadigde input, verschuivingen in de verdeling en randgevallen. Artikel 15 noemt er geen. Kies methoden die passen bij de risico’s die u onder artikel 9 hebt vastgesteld.
Dekken bestaande cyberbeveiligingscertificaten of -wetten artikel 15?
Alleen in twee vastgelegde gevallen. Een systeem wordt geacht te voldoen aan de cyberbeveiligingseisen van artikel 15 (artikel 42(2)). Daarvoor moet het zijn gecertificeerd volgens een cyberbeveiligingsschema op grond van Verordening (EU) 2019/881, of moet een conformiteitsverklaring zijn afgegeven. Dat geldt als de referenties van het schema in het Publicatieblad zijn gepubliceerd, en alleen voor zover het certificaat of de verklaring die dekt. Systemen die onder de Cyber Resilience Act (Verordening (EU) 2024/2847) vallen en voldoen aan de voorwaarden van artikel 12(1) daarvan, worden geacht te voldoen (artikel 42(3)). Beide gaan alleen over cyberbeveiliging, niet over nauwkeurigheid of robuustheid.
Welke documentatie wordt verwacht voor nauwkeurigheid en robuustheid?
Vermeld nauwkeurigheidsniveaus en maatstaven in de gebruiksaanwijzing (artikel 15(3)). De technische documentatie moet bovendien de validatie- en testprocedures, de maatstaven voor nauwkeurigheid en robuustheid, de testverslagen en de cyberbeveiligingsmaatregelen beschrijven (bijlage IV, punt 2, g) en h)).
Wat zijn de boetes, en geldt voor mkb-bedrijven een lager maximum?
Voor aanbieders (artikel 16) en gebruiksverantwoordelijken (artikel 26) bedragen de boetes maximaal 15 miljoen EUR of 3 % van de wereldwijde jaaromzet, als dat bedrag hoger is (artikel 99(4)). Voor mkb-bedrijven, inclusief start-ups, en kleine midcapondernemingen is het maximum het lagere van de twee bedragen (artikel 99(6) en (6 bis)). De lidstaten stellen de sanctieregels vast (artikel 99(1)).
Lees daarna: hoe artikel 15 samenhangt met de artikelen 9, 10, 11 en 13
Artikel 9: risicobeheer
Kies testmethoden die passen bij de risico’s die u vaststelt in het risicobeheersysteem.
Artikel 10: data en datagovernance
Artikel 10 stelt kwaliteitsregels voor trainings-, validatie- en testdata.
Artikel 11: technische documentatie
De technische documentatie legt validatie- en testprocedures, nauwkeurigheidsmaatstaven en cyberbeveiligingsmaatregelen vast (bijlage IV).
Artikel 13: transparantie
De gebruiksaanwijzing moet de opgegeven niveaus van nauwkeurigheid, robuustheid en cyberbeveiliging vermelden.
Scanara bereidt bewijs voor vanuit uw repositories
Scanara leest uw gekoppelde GitHub-repositories en voert regelgebaseerde scans uit op gangbare AI- en machine-learningpatronen. Niet-standaardcode kan het missen. Daarnaast genereert het conceptdocumentatie op basis van sjablonen en uw antwoorden in de beoordelingen, als bewijs voor uw compliancewerk. De indeling bepaalt u zelf.