KI-Verordnung Strafverfolgung: Compliance-Guide

Art. 5 Abs. 1 Buchst. d

Straftatenrisiko-Bewertung allein auf Grundlage von Profiling

KI-Systeme für Risikobewertungen natürlicher Personen, mit denen das Risiko, dass eine Person eine Straftat begeht, bewertet oder vorhergesagt wird, allein auf der Grundlage des Profilings dieser Person oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften, sind verboten. Das Verbot gilt nicht für Systeme, die die menschliche Beurteilung der Beteiligung einer Person an einer kriminellen Aktivität unterstützen, die bereits auf objektiven und überprüfbaren Tatsachen beruht, die in direktem Zusammenhang mit einer kriminellen Aktivität stehen (Artikel 5 Absatz 1 Buchstabe d).

Art. 5 Abs. 1 Buchst. e

Gesichtserkennungsdatenbanken durch ungezieltes Auslesen

KI-Systeme, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern, sind verboten (Artikel 5 Absatz 1 Buchstabe e).

Art. 5 Abs. 1 Buchst. h, Art. 5 Abs. 2, Art. 5 Abs. 3

Biometrische „Echtzeit“-Fernidentifizierung

Die Verwendung solcher Systeme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken ist verboten, außer wenn und soweit sie unbedingt erforderlich ist für: (i) die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie die Suche nach vermissten Personen; (ii) die Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder einer tatsächlichen und gegenwärtigen oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags; (iii) die Lokalisierung oder Identifizierung einer Person, die einer in Anhang II genannten Straftat verdächtigt wird, die mit einer Freiheitsstrafe oder freiheitsentziehenden Maßregel der Besserung und Sicherung von mindestens vier Jahren bedroht ist (Artikel 5 Absatz 1 Buchstabe h). Die Verwendung beschränkt sich darauf, die Identität der gezielt gesuchten Person zu bestätigen, und ist nur zulässig, wenn die Behörde eine Grundrechte-Folgenabschätzung nach Artikel 27 durchgeführt und das System nach Artikel 49 registriert hat; in hinreichend begründeten Dringlichkeitsfällen kann die Registrierung unverzüglich nachgeholt werden (Artikel 5 Absatz 2). Jede Verwendung bedarf einer vorherigen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde, deren Entscheidung bindend ist; in hinreichend begründeten Dringlichkeitsfällen darf die Verwendung beginnen und die Genehmigung muss innerhalb von 24 Stunden beantragt werden, bei Ablehnung wird die Verwendung beendet und die Daten werden gelöscht (Artikel 5 Absatz 3). Jede Verwendung wird der Marktüberwachungsbehörde und der nationalen Datenschutzbehörde mitgeteilt (Artikel 5 Absatz 4). Ein Mitgliedstaat kann entscheiden, ob er eine solche Verwendung vorsieht (Artikel 5 Absatz 5).

Art. 5 Abs. 1 Buchst. g

Biometrische Kategorisierung: Ausnahme für die Strafverfolgung

Das Verbot biometrischer Kategorisierungssysteme, die Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, Sexualleben oder sexuelle Ausrichtung ableiten, erfasst nicht das Kennzeichnen oder Filtern rechtmäßig erworbener biometrischer Datensätze, etwa von Bildern, anhand biometrischer Daten oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung (Artikel 5 Absatz 1 Buchstabe g).

Art. 5 Abs. 1

Der Rest von Artikel 5

Artikel 5 Absatz 1 verbietet außerdem unterschwellige oder manipulative Techniken (Buchstabe a), das Ausnutzen von Schwächen (Buchstabe b), bestimmtes erzeugtes intimes oder missbräuchliches Material (Buchstaben ba und bb), Social Scoring (Buchstabe c) und das Ableiten von Emotionen am Arbeitsplatz und in Bildungseinrichtungen, mit einer Ausnahme aus medizinischen Gründen oder Sicherheitsgründen (Buchstabe f). Diese sind nicht auf die Strafverfolgung beschränkt; siehe die Seite zu Artikel 5.

Art. 3 Abs. 46

Strafverfolgung in der Verordnung

Die Verordnung enthält kein branchenweites Strafverfolgungsregime; Anhang III Nummer 6 ist der Hochrisiko-Bereich mit der Überschrift „Strafverfolgung“. Die Verordnung definiert sie als Tätigkeiten der Strafverfolgungsbehörden oder in deren Auftrag zur Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder zur Strafvollstreckung, einschließlich des Schutzes vor und der Abwehr von Gefahren für die öffentliche Sicherheit (Artikel 3 Absatz 46). Die Hochrisiko-Verwendungen stehen in Anhang III: Nummer 6 für die Strafverfolgung und Nummer 1 für die Biometrie, jeweils „soweit ihre Verwendung nach einschlägigem Unionsrecht oder nationalem Recht zugelassen ist“.

Anh. III Nr. 6

Anhang III Nummer 6: die fünf Einträge

Jeder Eintrag erfasst Systeme, die von Strafverfolgungsbehörden oder in deren Auftrag oder von Organen, Einrichtungen oder sonstigen Stellen der Union zur Unterstützung von Strafverfolgungsbehörden verwendet werden. (a) Bewertung des Risikos einer natürlichen Person, Opfer von Straftaten zu werden. (b) Lügendetektoren oder ähnliche Instrumente. (c) Bewertung der Verlässlichkeit von Beweismitteln im Rahmen der Ermittlung oder Verfolgung von Straftaten. (d) Bewertung des Risikos, dass eine natürliche Person eine Straftat begeht oder erneut begeht, nicht ausschließlich auf der Grundlage des Profilings (im Sinne von Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680) oder zur Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder früherem kriminellem Verhalten von natürlichen Personen oder Gruppen. (e) Profiling natürlicher Personen (im Sinne von Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680) im Rahmen der Aufdeckung, Ermittlung oder Verfolgung von Straftaten.

Anh. III Nr. 1

Anhang III Nummer 1: Biometrie

Nummer 1 nennt (a) biometrische Fernidentifizierungssysteme, ausgenommen Systeme für die biometrische Verifizierung, deren alleiniger Zweck die Bestätigung ist, dass eine bestimmte natürliche Person die Person ist, für die sie sich ausgibt; (b) Systeme zur biometrischen Kategorisierung nach sensiblen oder geschützten Attributen oder Merkmalen, die auf der Ableitung dieser Attribute oder Merkmale beruht; (c) Systeme zur Emotionserkennung.

Art. 5 Abs. 1 Buchst. d, Art. 6 Abs. 3

Predictive Policing und Kriminalitätsanalyse

Die Verordnung verwendet keinen der beiden Begriffe, und Anhang III Nummer 6 enthält keinen Eintrag zur Kriminalitätsanalyse. Verboten ist es, das Risiko, dass eine natürliche Person eine Straftat begeht, allein auf der Grundlage ihres Profilings oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften zu bewerten oder vorherzusagen (Artikel 5 Absatz 1 Buchstabe d). Das Verbot gilt nicht für KI-Systeme, die die menschliche Beurteilung der Beteiligung einer Person an einer kriminellen Aktivität unterstützen, die bereits auf objektiven und überprüfbaren Tatsachen beruht, die in direktem Zusammenhang mit einer kriminellen Aktivität stehen. Ein KI-System nach Anhang III, das Profiling natürlicher Personen durchführt, gilt immer als Hochrisiko-KI-System (Artikel 6 Absatz 3). Ob ein Werkzeug, das mit Gebieten statt mit Personen arbeitet, unter einen Eintrag fällt, hängt von seiner Zweckbestimmung ab.

Anh. III Nr. 7, Anh. III Nr. 8 Buchst. a

Angrenzende Einträge: Nummern 7 und 8 Buchstabe a

Nummer 7 betrifft Migration, Asyl und Grenzkontrolle: Lügendetektoren und ähnliche Instrumente, Risikobewertungen von Personen, die in einen Mitgliedstaat einreisen wollen oder eingereist sind, Unterstützung bei der Prüfung von Asyl-, Visa- und Aufenthaltstitelanträgen sowie das Erkennen, Wiedererkennen oder Identifizieren von Personen, ausgenommen die Überprüfung von Reisedokumenten. Nummer 8 Buchstabe a betrifft Systeme, die von einer Justizbehörde oder in deren Auftrag verwendet werden, um bei der Ermittlung und Auslegung von Tatsachen und Recht und der Anwendung des Rechts auf einen konkreten Sachverhalt zu unterstützen, oder die in ähnlicher Weise in der alternativen Streitbeilegung verwendet werden.

Art. 3 Abs. 3, Art. 3 Abs. 4, Art. 25 Abs. 1

Anbieter und Betreiber

Anbieter ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Absatz 3). Betreiber ist eine solche Person oder Stelle, die ein KI-System in eigener Verantwortung verwendet, außer im Rahmen einer persönlichen und nicht beruflichen Tätigkeit (Artikel 3 Absatz 4). Eine Polizeibehörde, die ein System kauft, ist Betreiber. Sie wird zum Anbieter, wenn sie ihren Namen oder ihre Handelsmarke auf ein bereits in Verkehr gebrachtes Hochrisiko-KI-System setzt, ein solches System wesentlich verändert, sodass es ein Hochrisiko-KI-System bleibt, oder den Verwendungszweck eines Nicht-Hochrisiko-KI-Systems so ändert, dass es zum Hochrisiko-KI-System wird (Artikel 25 Absatz 1).

Art. 16, Art. 43 Abs. 1

Anbieter

Anbieter stellen sicher, dass das System die Anforderungen des Abschnitts 2 erfüllt, wozu die Artikel 9 bis 15 gehören; richten ein Qualitätsmanagementsystem nach Artikel 17 ein; stellen sicher, dass das Konformitätsbewertungsverfahren nach Artikel 43 vor dem Inverkehrbringen oder der Inbetriebnahme durchgeführt wird; stellen eine EU-Konformitätserklärung aus, bringen die CE-Kennzeichnung an und registrieren sich nach Artikel 49 Absatz 1 (Artikel 16). Bei Systemen nach Anhang III Nummer 1 wählt der Anbieter die interne Kontrolle (Anhang VI) oder das Verfahren nach Anhang VII, wenn harmonisierte Normen oder gemeinsame Spezifikationen angewandt wurden. Gilt das Verfahren nach Anhang VII und soll das System von Strafverfolgungs-, Einwanderungs- oder Asylbehörden oder von Organen, Einrichtungen oder sonstigen Stellen der Union in Betrieb genommen werden, handelt die Marktüberwachungsbehörde nach Artikel 74 Absatz 8 oder 9 als notifizierte Stelle (Artikel 43 Absatz 1). Systeme nach den Nummern 2 bis 8 folgen der internen Kontrolle (Artikel 43 Absatz 2).

Art. 26, Art. 49 Abs. 3

Betreiber wie Polizeibehörden

Betreiber treffen geeignete Maßnahmen, um das System entsprechend seiner Betriebsanleitung zu verwenden (Artikel 26 Absatz 1), übertragen die Aufsicht kompetenten, geschulten und befugten Personen (Artikel 26 Absatz 2), bewahren die ihrer Kontrolle unterliegenden Protokolle auf (Artikel 26 Absatz 6) und informieren natürliche Personen, über die Entscheidungen getroffen werden; für die Strafverfolgung gilt Artikel 13 der Richtlinie (EU) 2016/680 (Artikel 26 Absatz 11). Betreiber, die Behörden oder Organe, Einrichtungen oder sonstige Stellen der Union sind, registrieren sich vor der Verwendung und dürfen kein nicht registriertes System verwenden (Artikel 26 Absatz 8); dasselbe gilt für Personen, die in ihrem Namen handeln (Artikel 49 Absatz 3). Für die nachträgliche biometrische Fernidentifizierung bei der gezielten Suche nach einer verdächtigen oder verurteilten Person beantragen sie vorab oder unverzüglich und spätestens binnen 48 Stunden eine Genehmigung bei einer Justizbehörde oder einer Verwaltungsbehörde, deren Entscheidung bindend ist und der gerichtlichen Überprüfung unterliegt; ausgenommen ist die Erstidentifizierung eines potenziellen Verdächtigen auf der Grundlage objektiver und überprüfbarer Tatsachen, die in direktem Zusammenhang mit der Straftat stehen (Artikel 26 Absatz 10).

Art. 27 Abs. 1, Art. 27 Abs. 2

Grundrechte-Folgenabschätzung

Vor der Inbetriebnahme eines Hochrisiko-KI-Systems nach Artikel 6 Absatz 2, mit Ausnahme der Systeme in Nummer 2 des Anhang III, führen Betreiber, die Einrichtungen des öffentlichen Rechts oder private Stellen sind, die öffentliche Dienste erbringen, sowie Betreiber von Systemen nach den Nummern 5 Buchstaben b und c eine Abschätzung der Auswirkungen auf die Grundrechte durch (Artikel 27 Absatz 1). Die Pflicht gilt für die erste Verwendung; der Betreiber kann sich in ähnlichen Fällen auf frühere Abschätzungen stützen (Artikel 27 Absatz 2).

Art. 49 Abs. 4, Art. 74 Abs. 8

Registrierung und Aufsicht

Hochrisiko-KI-Systeme nach den Nummern 1, 6 und 7 des Anhang III in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle werden in einem sicheren, nicht öffentlichen Bereich der EU-Datenbank registriert; nur die Kommission und die nationalen Behörden nach Artikel 74 Absatz 8 haben Zugang (Artikel 49 Absatz 4). Für Systeme nach Nummer 1, die für Strafverfolgung, Grenzmanagement sowie Justiz und Demokratie verwendet werden, und für die Nummern 6, 7 und 8 benennen die Mitgliedstaaten als Marktüberwachungsbehörden entweder die zuständigen Datenschutzaufsichtsbehörden nach der Verordnung (EU) 2016/679 (DSGVO) oder der Richtlinie (EU) 2016/680 oder eine andere Behörde, die unter denselben Bedingungen nach den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 benannt wird (Artikel 74 Absatz 8).

Art. 46 Abs. 2, Art. 46 Abs. 3

Dringliche Verwendung ohne Genehmigung

In einer hinreichend begründeten Dringlichkeitssituation aus außergewöhnlichen Gründen der öffentlichen Sicherheit oder bei einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen dürfen Strafverfolgungsbehörden oder Katastrophenschutzbehörden ein bestimmtes Hochrisiko-KI-System ohne die Genehmigung der Marktüberwachungsbehörde nach Artikel 46 Absatz 1 in Betrieb nehmen, sofern die Genehmigung während oder nach der Verwendung unverzüglich beantragt wird. Wird sie verweigert, ist die Verwendung sofort einzustellen und alle Ergebnisse und Ausgaben sind unverzüglich zu verwerfen (Artikel 46 Absatz 2). Die Marktüberwachungsbehörde muss die Kommission und die anderen Mitgliedstaaten nicht über sensible operative Daten im Zusammenhang mit den Tätigkeiten von Strafverfolgungsbehörden unterrichten (Artikel 46 Absatz 3).

Art. 113 Buchst. c Ziff. i, Art. 111 Abs. 2

Fristen

Die Anforderungen an Hochrisiko-KI-Systeme nach Anhang III gelten ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein vor diesem Datum in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verbote in Artikel 5 Absatz 1 Buchstaben d, e, g und h gelten seit dem 2. Februar 2025 (Artikel 113 Buchstabe a).

Art. 2 Abs. 3, Art. 2 Abs. 6, Art. 2 Abs. 8

Grenzen des Anwendungsbereichs

Die Verordnung gilt nicht für Bereiche außerhalb des Anwendungsbereichs des Unionsrechts und nicht für KI-Systeme, soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden (Artikel 2 Absatz 3). Sie gilt nicht für Behörden von Drittländern und internationale Organisationen, die KI-Systeme im Rahmen der internationalen Zusammenarbeit oder von Abkommen über die Zusammenarbeit in den Bereichen Strafverfolgung und Justiz mit der Union oder einem oder mehreren Mitgliedstaaten verwenden, sofern das Drittland oder die internationale Organisation angemessene Garantien für den Schutz der Grundrechte und Grundfreiheiten bietet (Artikel 2 Absatz 4). Sie gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen wurden (Artikel 2 Absatz 6), und nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen sind von dieser Ausnahme nicht erfasst (Artikel 2 Absatz 8). Sie gilt nicht für KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als KI-System in Verkehr gebracht oder in Betrieb genommen, das unter Artikel 5 oder Artikel 50 fällt (Artikel 2 Absatz 12).

Art. 99, Art. 100

Geldbußen

Verstoß gegen ein Verbot nach Artikel 5: bis zu 35 Mio. EUR oder, wenn der Zuwiderhandelnde ein Unternehmen ist, bis zu 7 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahrs, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3). Verstoß gegen Anbieterpflichten nach Artikel 16, Betreiberpflichten nach Artikel 26 oder Transparenzpflichten nach Artikel 50: bis zu 15 Mio. EUR oder, bei einem Unternehmen, 3 %, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Falsche, unvollständige oder irreführende Angaben gegenüber notifizierten Stellen oder zuständigen nationalen Behörden auf Verlangen: bis zu 7,5 Mio. EUR oder, bei einem Unternehmen, 1 %, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 5). Bei KMU, einschließlich Start-up-Unternehmen, gilt jeweils der niedrigere der genannten Beträge als Obergrenze (Artikel 99 Absatz 6); bei kleinen Midcap-Unternehmen gilt das für die Geldbußen nach den Absätzen 4 und 5 (Artikel 99 Absatz 6a). Jeder Mitgliedstaat legt fest, inwieweit gegen Behörden Geldbußen verhängt werden können (Artikel 99 Absatz 8). Der Europäische Datenschutzbeauftragte kann gegen Organe, Einrichtungen und sonstige Stellen der Union Geldbußen von bis zu 1,5 Mio. EUR bei einem Verstoß gegen Artikel 5 und bis zu 750 000 EUR bei anderen Anforderungen verhängen (Artikel 100).

Anh. III Nr. 6 Buchst. b

Beispiel: ein lügendetektorähnliches Werkzeug

Beispiel: Ein Werkzeug, das Polizeibehörden bei Vernehmungen als Lügendetektor oder ähnliches Instrument verwenden, fällt unter Anhang III Nummer 6 Buchstabe b.

Anh. III Nr. 6 Buchst. c

Beispiel: ein Werkzeug zur Bewertung der Verlässlichkeit von Beweisen

Beispiel: Ein System, das die Polizei einsetzt, um die Verlässlichkeit von Beweismitteln in einer Ermittlung zu bewerten, fällt unter Anhang III Nummer 6 Buchstabe c.

Anh. III Nr. 6 Buchst. d

Beispiel: ein Werkzeug zum Rückfallrisiko

Beispiel: Ein Werkzeug, das das Rückfallrisiko bewertet und sich nicht allein auf Profiling stützt, fällt unter Anhang III Nummer 6 Buchstabe d; eines, das sich allein auf Profiling oder Persönlichkeitsmerkmale stützt, erfüllt das Verbot nach Artikel 5 Absatz 1 Buchstabe d, es sei denn, es unterstützt nur eine menschliche Beurteilung, die auf objektiven und überprüfbaren Tatsachen beruht, die in direktem Zusammenhang mit einer kriminellen Aktivität stehen.