Skip to main content

Compliance as Code für KI-Systeme

Wie Compliance as Code für die Artikel 9 bis 15 funktioniert: was eine Regel prüfen kann, was bei einem Menschen bleibt und was die regelbasierten Scans von Scanara abdecken und was nicht.

Compliance as Code heißt, Teile rechtlicher Anforderungen als Regeln zu schreiben, die zusammen mit Ihrem Code laufen. Für Anbieter von Hochrisiko-KI-Systemen lassen sich einige Anforderungen der Artikel 9 bis 15 so prüfen, die meisten erfordern aber menschliches Urteil.

Die Pflichten gelten ab 2. Dezember 2027 (Anhang III) und ab 2. August 2028 (Anhang I). Artikel 2 nennt Ausnahmen. Geldbußen betragen bis zu 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Nächster Schritt: Wählen Sie einen Artikel und listen Sie auf, welche seiner Anforderungen eine Regel prüfen kann.

Eine Regel kann prüfen, ob etwas vorhanden ist; ob es angemessen ist, beurteilt ein Mensch

Die Anforderungen der Verordnung sprechen von dem, was der Zweckbestimmung angemessen ist. Regeln machen den prüfbaren Teil zu Tests und überlassen den Rest den Menschen.

Was eine Regel prüfen kann

  • Ob Protokollierungscode um Modellaufrufe existiert (Artikel 12).
  • Ob die geforderten Dokumente existieren und die erwarteten Abschnitte enthalten (Artikel 11, 13, 17 und 47).
  • Ob für jedes System eine Risikoklasse festgehalten ist.
  • Wer eine Regel oder ein Dokument wann geändert hat (Git-Verlauf).

Was ein Mensch beurteilen muss

  • Ob die Risikoanalyse angemessen ist und das Restrisiko vertretbar (Artikel 9 Absatz 5).
  • Ob das System ein Hochrisiko-KI-System ist, was von seiner Zweckbestimmung abhängt (Artikel 6).
  • Ob die menschliche Aufsicht in der Praxis funktioniert und besetzt ist (Artikel 14 und 26 Absatz 2).
  • Ob Dokumente wahr und vollständig sind. Ein Scan prüft, ob Inhalt vorhanden ist.

Drei Bausteine: Code-Regeln, Dokumentenrichtlinien, versionierte Dokumentation

Code-Regeln

Regeln der statischen Analyse (Semgrep) erkennen Standardmuster gängiger ML-Frameworks in Ihrem Quellcode.

  • Mustererkennung: Regeln markieren KI-Operationen ohne erkennbare Protokollierung, Validierung oder Eingriffspunkte für Menschen.
  • Zuordnung zu Artikeln: Jede Regel gehört zu einem Artikel der Verordnung.
  • Grenzen: Die Erkennungssicherheit hängt von der Stufe der Programmiersprache ab; experimentelle Stufen haben höhere Raten an falsch positiven und falsch negativen Treffern. Eigene Wrapper und verschleierter Code können unerkannt bleiben.

Dokumentenrichtlinien

Richtlinien des Open Policy Agent (OPA) prüfen Dokumente zur Einhaltung der Verordnung auf geforderte Inhalte in acht Sprachen: EN, DE, FR, IT, ES, NL, PL und PT.

  • Abschnitte der technischen Dokumentation: Die Richtlinien prüfen, ob die technische Dokumentation die acht Abschnitte enthält, die die Regeln von Scanara verlangen und die auf Anhang IV beruhen. Sie prüfen, ob Inhalt vorhanden ist, nicht ob er gut ist.
  • GPAI-Dokumente: Ein Dokumenten-Scan deckt die Dokumentation von Anbietern von KI-Modellen mit allgemeinem Verwendungszweck ab (Artikel 53). Die Dossier-Erzeugung entwirft Dokumente nach den Anhängen XI und XII.

Versionierte Dokumentation

Dokumentation in Ihrem Repository wird zusammen mit Ihrem Code versioniert.

  • Dokumentation als Code: Risikobewertungen und Systembeschreibungen liegen als strukturierte Dateien vor. Ihr Git-Verlauf zeigt, wer was wann geändert hat. Artikel 11 verlangt, die technische Dokumentation auf dem neuesten Stand zu halten.
  • Erzeugte Entwürfe: Scanara entwirft Dokumente nach Anhang IV aus Ihren Angaben und Bewertungsantworten. Die automatische Befüllung ist teilweise, und falsche Eingaben ergeben gut formatierte falsche Dokumente.

Vom Artikel zur Prüfung: was eine Regel abdeckt und was bei Ihnen bleibt

Fünf Artikel zeigen, wie sich eine Anforderung in eine regelbasierte Prüfung und eine menschliche Aufgabe teilt. Die Abdeckung unterscheidet sich je Artikel: Manche haben Code-Regeln, manche Dokumenten-Scans, manche eine geführte Bewertung.

Artikel 9: Risikomanagement

Anforderung
Ein Risikomanagementsystem über den Lebenszyklus einrichten, anwenden, dokumentieren und aufrechterhalten (Artikel 9 Absätze 1 und 2).
Prüfung in Scanara
Code-Regel: markiert KI-Entscheidungspunkte ohne erkennbaren Code für Risikobewertung oder Validierung. Eine geführte Bewertung hält Ihre Risikoanalyse als Nachweis fest.
Bleibt bei Ihnen
Die Risiken ermitteln und beurteilen und entscheiden, dass das Restrisiko vertretbar ist (Artikel 9 Absatz 5).

Artikel 11: technische Dokumentation

Anforderung
Die technische Dokumentation vor dem Inverkehrbringen oder der Inbetriebnahme erstellen und aktuell halten, mit mindestens den Angaben nach Anhang IV.
Prüfung in Scanara
Dokumenten-Scan: prüft, ob die acht erforderlichen Abschnitte vorhanden sind, die die Regeln von Scanara für die technische Dokumentation festlegen und die auf Anhang IV beruhen. Die Dossier-Erzeugung entwirft die Dokumentation nach Anhang IV aus Ihren Angaben.
Bleibt bei Ihnen
Genaue Inhalte schreiben und aktuell halten. Ein Scan prüft das Vorhandensein, nicht die Wahrheit.

Artikel 12: Aufzeichnungspflichten

Anforderung
Die automatische Aufzeichnung von Ereignissen (Protokollierung) während des Lebenszyklus des Systems ermöglichen.
Prüfung in Scanara
Code-Regel: markiert KI-Operationen ohne erkennbare Protokollierung.
Bleibt bei Ihnen
Die aufzuzeichnenden Ereignisse für die drei Zwecke nach Artikel 12 Absatz 2 wählen und die Protokolle aufbewahren.

Artikel 13: Transparenz

Anforderung
Das System so gestalten, dass Betreiber seine Ausgabe interpretieren und angemessen verwenden können, und Betriebsanleitungen bereitstellen.
Prüfung in Scanara
Dokumenten-Scan: prüft, ob Betriebsanleitungen vorhanden sind und die geforderten Abschnitte enthalten.
Bleibt bei Ihnen
Die Anleitungen für Betreiber genau und verständlich machen.

Artikel 14: menschliche Aufsicht

Anforderung
Das System so gestalten, dass natürliche Personen es wirksam beaufsichtigen können. Soweit angemessen und verhältnismäßig, müssen sie in den Betrieb eingreifen oder das System unterbrechen können, etwa mit einer „Stopptaste“ oder einem ähnlichen Verfahren (Artikel 14 Absätze 1 und 4 Buchstabe e).
Prüfung in Scanara
Code-Regel: markiert Entscheidungspfade ohne erkennbaren Eingriffspunkt für Menschen.
Bleibt bei Ihnen
Eine Aufsicht gestalten, die in der Praxis funktioniert, und geschulte Personen zuweisen (Artikel 26 Absatz 2).

Was Scanara nicht tut

Scanara beobachtet keine laufenden Systeme, beurteilt weder Zweckbestimmung noch Geschäftskontext, gibt keine Rechtsberatung und ersetzt keine Konformitätsbewertung durch eine notifizierte Stelle, wo eine vorgeschrieben ist. Derselbe Code kann ein minimales oder ein hohes Risiko darstellen, je nach Zweckbestimmung. Ein bestandener Scan zeigt keine Konformität.

Der Einstieg in fünf Schritten

  • 1

    Klassifizieren Sie Ihr KI-System

    Entscheiden Sie, ob Ihr System ein Hochrisiko-KI-System ist (Artikel 6, Anhang III). Das Ergebnis hängt von der Zweckbestimmung ab und ist Ihre Entscheidung.

  • 2

    Führen Sie einen ersten Scan aus

    Scannen Sie Code und Dokumente, um einen Ausgangsstand an Befunden zu erhalten. Lesen Sie sie als Hinweise, nicht als Urteil.

  • 3

    Nehmen Sie den Scan in Ihre Pipeline auf

    Beginnen Sie im Nur-Bericht-Modus und erwägen Sie dann den blockierenden Modus. Der Leitfaden zu CI/CD beschreibt die Stufen.

  • 4

    Arbeiten Sie Befunde nach Priorität ab

    Lassen Sie zuerst einen Menschen die Befunde prüfen, die auf Artikel 5 oder Artikel 14 hindeuten.

  • 5

    Entwerfen Sie die Dokumentation

    Erzeugen Sie Entwürfe für die Dokumente nach Anhang IV und Anhang V aus Ihren Angaben und vervollständigen und prüfen Sie sie dann.

Ausnahmen, ältere Systeme und Obergrenzen für Geldbußen

Die Verordnung gilt nicht für KI-Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme, die eigens und allein für die wissenschaftliche Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6), und nicht für Forschung, Tests und Entwicklung vor dem Inverkehrbringen oder der Inbetriebnahme, außer für Tests unter Realbedingungen (Artikel 2 Absatz 8). KI-Systeme unter freien und quelloffenen Lizenzen sind ausgenommen, außer wenn sie als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden oder unter Artikel 5 oder 50 fallen (Artikel 2 Absatz 12). Natürliche Personen, die ein System im Rahmen einer rein persönlichen und nicht beruflichen Tätigkeit verwenden, sind nicht als Betreiber gebunden (Artikel 2 Absatz 10). Für Hochrisiko-Systeme im Zusammenhang mit Produkten nach Rechtsvorschriften des Anhangs I Abschnitt B, etwa Kraftfahrzeugen, Luftfahrt, Eisenbahn, Schiffsausrüstung, land- und forstwirtschaftlichen Fahrzeugen und Maschinen, gelten nur Artikel 6 Absatz 1, Artikel 60a und die Artikel 102 bis 112. Die Artikel 57 bis 59 gelten nur, soweit diese Rechtsvorschriften die Anforderungen übernehmen (Artikel 2 Absatz 2).

Hochrisiko-Systeme, die vor dem Geltungstermin in Verkehr gebracht oder in Betrieb genommen wurden, erfasst die Verordnung erst nach erheblichen Konzeptionsänderungen. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).

Bei KMU gilt für jede Geldbuße der niedrigere Prozentsatz oder Betrag als Obergrenze (Artikel 99 Absatz 6). Für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b) gilt dieselbe Obergrenze für Geldbußen nach Artikel 99 Absätze 4 und 5 (Artikel 99 Absatz 6a). Die Stufe mit 15 Mio. EUR umfasst auch die Pflichten von Anbietern und Akteuren nach Artikel 25 Absätze 2 und 4 (Artikel 99 Absatz 4 Buchstabe da).

Scanara bereitet Nachweise aus Ihren Repositorien vor

Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.