Artikel 15 KI-Verordnung: Genauigkeit, Robustheit und Cybersicherheit
Artikel 15 verlangt von Hochrisiko-KI-Systemen angemessene Genauigkeit, Robustheit und Cybersicherheit. Der Leitfaden behandelt die Anforderungen und gängige Testwege.
Anbieter von Hochrisiko-KI-Systemen müssen diese so auslegen, dass sie während ihres gesamten Lebenszyklus ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen (Artikel 15).
Anbieter müssen Genauigkeitsgrade und -metriken in der Betriebsanleitung angeben (Artikel 15 Absatz 3). Das gilt für in der EU in Verkehr gebrachte oder in Betrieb genommene Systeme. Es gilt ab 2. Dezember 2027 (Anhang III) und ab 2. August 2028 (Anhang I). Die Geldbußen betragen bis zu 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Nächster Schritt: Wählen Sie Ihre Genauigkeitsmetriken und testen Sie sie.
Artikel 15 in fünf Punkten
Artikel 15 Absatz 1 verlangt ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit und beständige Leistung während des gesamten Lebenszyklus. Die fünf Punkte unten fassen die Absätze 3 bis 5 zusammen. Die Verordnung nennt Ziele, keine Testmethoden und keine Schwellenwerte. Die Kommission fördert Benchmarks und Messmethoden gemeinsam mit Metrologie- und Benchmarking-Behörden (Artikel 15 Absatz 2).
Angegebene Genauigkeitsgrade und -metriken
Geben Sie die Genauigkeitsgrade und die relevanten Genauigkeitsmetriken in der Betriebsanleitung an (Artikel 15 Absatz 3).
Widerstandsfähigkeit gegen Fehler und Störungen
Machen Sie das System so widerstandsfähig wie möglich gegenüber Fehlern, Störungen und Unstimmigkeiten im System oder seiner Umgebung, auch bei der Interaktion mit Personen oder anderen Systemen. Treffen Sie technische und organisatorische Maßnahmen; technische Redundanz, etwa Sicherungs- oder Störungssicherheitspläne, kann die Robustheit erreichen (Artikel 15 Absatz 4).
Kontrolle von Rückkopplungsschleifen
Lernt das System nach dem Inverkehrbringen oder der Inbetriebnahme weiter, beseitigen oder verringern Sie so weit wie möglich das Risiko, dass verzerrte Ausgaben künftige Eingaben beeinflussen (Rückkopplungsschleifen). Gehen Sie darauf mit Risikominderungsmaßnahmen ein (Artikel 15 Absatz 4).
Widerstandsfähigkeit gegen unbefugte Dritte
Das System muss Versuchen unbefugter Dritter widerstehen, seine Verwendung, Ausgaben oder Leistung durch Ausnutzen von Schwachstellen zu verändern. Cybersicherheitslösungen müssen zu den Umständen und Risiken passen (Artikel 15 Absatz 5).
Maßnahmen gegen KI-spezifische Angriffe
Sehen Sie, soweit angemessen, Maßnahmen vor, um die in Artikel 15 Absatz 5 genannten Angriffe und Mängel zu verhüten, zu erkennen, darauf zu reagieren, sie zu beseitigen und zu kontrollieren. Das sind Data Poisoning (manipulierte Trainingsdaten), Model Poisoning (manipulierte vortrainierte Komponenten), Adversarial Examples oder Model Evasion (Eingaben, die Fehler auslösen sollen), Angriffe auf vertrauliche Daten und Modellmängel.
Vier technische Schritte, die Artikel 15 unterstützen
Artikel 15 schreibt keine Testmethode vor. Diese Schritte sind gängige Wege, die Erfüllung der Anforderungen zu zeigen.
Adversarial Testing in der CI
Führen Sie Robustheitstests mit gezielten Störungen in Ihrer CI/CD-Pipeline aus: Adversarial Examples erzeugen, Modellgrenzen testen und Abwehrmaßnahmen gegen bekannte Angriffsmuster prüfen.
Benchmarking der Genauigkeit
Messen Sie die Genauigkeit mit den angegebenen Metriken für jede Modellversion, jeden Datensatz und jede Einsatzumgebung, um Verschlechterungen zu erkennen.
Redundanz und ausfallsicheres Design
Bauen Sie Rückfallmechanismen für kritische Pfade ein: Backup-Modelle, Sicherheitsmonitore und die Übergabe an eine Person, wenn die Konfidenz unter einen von Ihnen gesetzten Schwellenwert fällt.
Sicherheit der Modell-Lieferkette
Prüfen Sie Abhängigkeiten und Basismodelle auf Schwachstellen und verifizieren Sie die Herkunft externer Modelle und die Integrität der Trainings-Pipelines.
Die Betriebsanleitung nennt das getestete und das zu erwartende Maß
Die Betriebsanleitung muss das Maß an Genauigkeit, Robustheit und Cybersicherheit angeben, für das das System getestet und validiert wurde und das zu erwarten ist. Sie muss auch die bekannten Umstände nennen, die sich darauf auswirken können (Artikel 13 Absatz 3 Buchstabe b Ziffer ii). Bewahren Sie die Testergebnisse auf, die jedes angegebene Maß belegen.
Artikel 15 gilt nur für Hochrisiko-KI-Systeme
Ein System ist hochriskant, wenn es in einen Bereich von Anhang III fällt, sofern keine Ausnahme nach Artikel 6 Absatz 3 greift. Ein System, das natürliche Personen profiliert, ist immer hochriskant. Hochriskant ist ein System auch, wenn es ein Produkt aus Anhang I ist oder dessen Sicherheitsbauteil und eine Konformitätsbewertung durch Dritte braucht (Artikel 6). Anbieter sind erfasst, wenn sie ein System in der EU in Verkehr bringen oder in Betrieb nehmen, gleichgültig, wo sie niedergelassen sind (Artikel 2 Absatz 1 Buchstabe a). Anbieter und Betreiber in Drittländern sind auch erfasst, wenn die Ausgabe des Systems in der EU verwendet wird (Artikel 2 Absatz 1 Buchstabe c). Hochrisiko-Systeme, die zu Produkten nach den Rechtsvorschriften in Anhang I Abschnitt B gehören, fallen nicht unter Artikel 15 (Artikel 2 Absatz 2). Für Produkte nach Anhang I Abschnitt A können einzelne Anforderungen eingeschränkt werden (Artikel 2 Absatz 13). Das betrifft die Artikel 9 bis 15 und 17 bis 25, wenn das Fachrecht ein gleichwertiges oder höheres Schutzniveau bietet. Delegierte Rechtsakte, die bis zum 2. August 2027 erlassen werden, legen fest, welche. Ausgenommen sind militärische, Verteidigungs- und nationale Sicherheitszwecke, Systeme, die allein für die wissenschaftliche Forschung entwickelt wurden, sowie Forschung und Tests vor dem Inverkehrbringen (Artikel 2 Absätze 3, 6 und 8). Systeme, die schon vor dem Geltungsbeginn in Verkehr gebracht oder in Betrieb genommen wurden, sind nur nach erheblichen Konzeptionsänderungen erfasst. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).
Häufige Fragen: Schwellenwerte, Tests, Zertifizierung und Geldbußen
Welcher Genauigkeitswert gilt als „angemessen“?
Die Verordnung nennt keine Zahl und legt nicht fest, welches Maß für welche Verwendung angemessen ist. Sie verlangt ein angemessenes Maß, das mit seinen Metriken in der Betriebsanleitung angegeben wird (Artikel 15 Absätze 1 und 3). Geben Sie die verwendete Metrik und das gemessene Ergebnis an.
Ist formales Red-Teaming vorgeschrieben?
Nein. Artikel 15 nennt keine Testmethode. Artikel 15 Absatz 5 verlangt Maßnahmen gegen Angriffe wie Data Poisoning und Adversarial Examples, und gezielte Tests mit Störungen sind ein Weg, die Wirksamkeit dieser Maßnahmen zu zeigen.
Wie wird Robustheit in der Praxis getestet?
Gängige Methoden sind Fehlerinjektion, das Erzeugen von Adversarial Examples, Grenzwerttests und Szenarien zur Leistungsminderung, mit beschädigten Eingaben, Verteilungsverschiebungen und Randfällen. Artikel 15 nennt keine davon. Wählen Sie Methoden, die zu den Risiken passen, die Sie nach Artikel 9 ermittelt haben.
Decken vorhandene Cybersicherheitszertifikate oder -gesetze Artikel 15 ab?
Nur in zwei festgelegten Fällen. Systeme gelten als konform mit den Cybersicherheitsanforderungen des Artikels 15 (Artikel 42 Absatz 2). Voraussetzung ist eine Zertifizierung nach einem Schema gemäß der Verordnung (EU) 2019/881 oder eine dafür ausgestellte Konformitätserklärung. Das gilt, wenn die Referenzen des Schemas im Amtsblatt veröffentlicht sind, und nur soweit Zertifikat oder Erklärung sie abdecken. Systeme im Anwendungsbereich des Cyber Resilience Act (Verordnung (EU) 2024/2847), die die Bedingungen von dessen Artikel 12 Absatz 1 erfüllen, gelten als konform (Artikel 42 Absatz 3). Beides betrifft nur die Cybersicherheit, nicht Genauigkeit oder Robustheit.
Welche Dokumentation wird für Genauigkeit und Robustheit erwartet?
Geben Sie Genauigkeitsgrade und -metriken in der Betriebsanleitung an (Artikel 15 Absatz 3). Die technische Dokumentation muss außerdem die Validierungs- und Testverfahren, die Metriken für Genauigkeit und Robustheit, die Testberichte und die Cybersicherheitsmaßnahmen beschreiben (Anhang IV Nummer 2 Buchstaben g und h).
Welche Geldbußen drohen, und gilt für KMU eine niedrigere Obergrenze?
Bei Anbietern (Artikel 16) und Betreibern (Artikel 26) betragen die Geldbußen bis zu 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-ups, und kleine Midcap-Unternehmen gilt als Obergrenze der niedrigere der beiden Beträge (Artikel 99 Absätze 6 und 6a). Die Mitgliedstaaten legen die Sanktionsregeln fest (Artikel 99 Absatz 1).
Als Nächstes lesen: wie Artikel 15 mit den Artikeln 9, 10, 11 und 13 zusammenhängt
Artikel 9: Risikomanagement
Wählen Sie Testmethoden, die zu den Risiken passen, die Sie im Risikomanagementsystem ermitteln.
Artikel 10: Daten und Daten-Governance
Artikel 10 legt Qualitätsregeln für Trainings-, Validierungs- und Testdaten fest.
Artikel 11: Technische Dokumentation
Die technische Dokumentation hält Validierungs- und Testverfahren, Genauigkeitsmetriken und Cybersicherheitsmaßnahmen fest (Anhang IV).
Artikel 13: Transparenz
Die Betriebsanleitung muss die angegebenen Maße an Genauigkeit, Robustheit und Cybersicherheit nennen.
Scanara bereitet Nachweise aus Ihren Repositorien vor
Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.