Artikel 14 Menschliche Aufsicht für KI in der Strafverfolgung: KI-Verordnung

Art. 14 Abs. 2, Art. 14 Abs. 3

Ziel und zwei Arten von Maßnahmen

Die menschliche Aufsicht zielt darauf ab, Risiken für Gesundheit, Sicherheit oder Grundrechte zu verhindern oder zu minimieren, die bei bestimmungsgemäßer Verwendung oder bei vernünftigerweise vorhersehbarer Fehlanwendung entstehen können (Artikel 14 Absatz 2). Die Maßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Verwendung angemessen sein und werden durch eine oder beide der folgenden Arten gewährleistet: (a) Maßnahmen, die der Anbieter, wenn technisch machbar, vor dem Inverkehrbringen oder der Inbetriebnahme in das System einbaut; (b) Maßnahmen, die der Anbieter vorher bestimmt und die der Betreiber angemessen umsetzen kann (Artikel 14 Absatz 3).

Art. 14 Abs. 4

Wozu die beaufsichtigenden Personen befähigt sein müssen

Soweit angemessen und verhältnismäßig wird das System dem Betreiber so bereitgestellt, dass die mit der Aufsicht betrauten Personen: (a) die relevanten Fähigkeiten und Grenzen des Systems angemessen verstehen und seinen Betrieb überwachen können, einschließlich der Erkennung von Anomalien, Fehlfunktionen und unerwarteter Leistung; (b) sich der möglichen Neigung bewusst bleiben, sich automatisch oder übermäßig auf das Ergebnis zu verlassen (Automatisierungsbias); (c) die Ausgabe richtig interpretieren können; (d) in jeder besonderen Situation entscheiden können, das System nicht zu verwenden oder seine Ausgabe zu verwerfen, außer Acht zu lassen oder rückgängig zu machen; (e) in den Betrieb eingreifen oder das System über eine „Stopptaste“ oder ein ähnliches Verfahren unterbrechen können, das dem System ermöglicht, in einem sicheren Zustand zum Stillstand zu kommen (Artikel 14 Absatz 4).

Art. 14 Abs. 5

Überprüfung durch zwei Personen bei Systemen nach Anh. III Nr. 1 Buchst. a und ihre Ausnahme

Bei Systemen nach Anhang III Nummer 1 Buchstabe a müssen die Maßnahmen sicherstellen, dass der Betreiber keine Maßnahmen oder Entscheidungen allein aufgrund der Identifizierung trifft, solange diese nicht von mindestens zwei natürlichen Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis getrennt überprüft und bestätigt wurde. Diese Anforderung gilt nicht für Hochrisiko-KI-Systeme, die für Zwecke der Strafverfolgung, Migration, Grenzkontrolle oder des Asyls verwendet werden, wenn die Anwendung dieser Anforderung nach Unionsrecht oder nationalem Recht unverhältnismäßig wäre (Artikel 14 Absatz 5).

Art. 26 Abs. 2, Art. 26 Abs. 3

Betreiber: Zuweisung der Aufsicht

Betreiber übertragen die menschliche Aufsicht natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis sowie die nötige Unterstützung verfügen (Artikel 26 Absatz 2). Die Pflichten der Absätze 1 und 2 lassen andere Betreiberpflichten nach Unionsrecht oder nationalem Recht sowie die Freiheit des Betreibers unberührt, seine eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht zu organisieren (Artikel 26 Absatz 3).

Art. 3 Abs. 46

Strafverfolgung in der Verordnung

Die Verordnung enthält kein branchenweites Strafverfolgungsregime; Anhang III Nummer 6 ist der Hochrisiko-Bereich mit der Überschrift „Strafverfolgung“. Die Verordnung definiert sie als Tätigkeiten der Strafverfolgungsbehörden oder in deren Auftrag zur Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder zur Strafvollstreckung, einschließlich des Schutzes vor und der Abwehr von Gefahren für die öffentliche Sicherheit (Artikel 3 Absatz 46). Die Hochrisiko-Verwendungen stehen in Anhang III: Nummer 6 für die Strafverfolgung und Nummer 1 für die Biometrie, jeweils „soweit ihre Verwendung nach einschlägigem Unionsrecht oder nationalem Recht zugelassen ist“.

Art. 5 Abs. 3, Art. 26 Abs. 10

Keine nachteilige Rechtswirkung allein aufgrund der Ausgabe

Eine Entscheidung, die eine nachteilige Rechtswirkung für eine Person hat, darf nicht allein auf der Grundlage der Ausgabe eines biometrischen „Echtzeit“-Fernidentifizierungssystems getroffen werden (Artikel 5 Absatz 3). Bei der nachträglichen biometrischen Fernidentifizierung ist sicherzustellen, dass Strafverfolgungsbehörden keine solche Entscheidung allein auf der Grundlage der Ausgabe des Systems treffen (Artikel 26 Absatz 10). Beide Regeln betreffen die biometrische Fernidentifizierung.

Art. 5 Abs. 1 Buchst. f, Art. 50 Abs. 3

Emotionserkennung

Systeme zur Emotionserkennung sind in Anhang III Nummer 1 Buchstabe c als Hochrisiko-KI-Systeme aufgeführt. Das Verbot nach Artikel 5 Absatz 1 Buchstabe f betrifft das Ableiten von Emotionen am Arbeitsplatz und in Bildungseinrichtungen, mit einer Ausnahme aus medizinischen Gründen oder Sicherheitsgründen; es ist kein Verbot für die Verwendung durch die Polizei. Betreiber von Systemen zur Emotionserkennung müssen die exponierten Personen informieren; das gilt nicht für Systeme, die per Gesetz zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassen sind, vorbehaltlich angemessener Schutzvorkehrungen für die Rechte und Freiheiten Dritter und im Einklang mit dem Unionsrecht (Artikel 50 Absatz 3).

Art. 3 Abs. 3, Art. 3 Abs. 4, Art. 25 Abs. 1

Anbieter und Betreiber

Anbieter ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Absatz 3). Betreiber ist eine solche Person oder Stelle, die ein KI-System in eigener Verantwortung verwendet, außer im Rahmen einer persönlichen und nicht beruflichen Tätigkeit (Artikel 3 Absatz 4). Eine Polizeibehörde, die ein System kauft, ist Betreiber. Sie wird zum Anbieter, wenn sie ihren Namen oder ihre Handelsmarke auf ein bereits in Verkehr gebrachtes Hochrisiko-KI-System setzt, ein solches System wesentlich verändert, sodass es ein Hochrisiko-KI-System bleibt, oder den Verwendungszweck eines Nicht-Hochrisiko-KI-Systems so ändert, dass es zum Hochrisiko-KI-System wird (Artikel 25 Absatz 1).

Art. 113 Buchst. c Ziff. i, Art. 111 Abs. 2

Fristen

Die Anforderungen an Hochrisiko-KI-Systeme nach Anhang III gelten ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein vor diesem Datum in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verbote in Artikel 5 Absatz 1 Buchstaben d, e, g und h gelten seit dem 2. Februar 2025 (Artikel 113 Buchstabe a).

Art. 2 Abs. 3, Art. 2 Abs. 6, Art. 2 Abs. 8

Grenzen des Anwendungsbereichs

Die Verordnung gilt nicht für Bereiche außerhalb des Anwendungsbereichs des Unionsrechts und nicht für KI-Systeme, soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden (Artikel 2 Absatz 3). Sie gilt nicht für Behörden von Drittländern und internationale Organisationen, die KI-Systeme im Rahmen der internationalen Zusammenarbeit oder von Abkommen über die Zusammenarbeit in den Bereichen Strafverfolgung und Justiz mit der Union oder einem oder mehreren Mitgliedstaaten verwenden, sofern das Drittland oder die internationale Organisation angemessene Garantien für den Schutz der Grundrechte und Grundfreiheiten bietet (Artikel 2 Absatz 4). Sie gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen wurden (Artikel 2 Absatz 6), und nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen sind von dieser Ausnahme nicht erfasst (Artikel 2 Absatz 8). Sie gilt nicht für KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als KI-System in Verkehr gebracht oder in Betrieb genommen, das unter Artikel 5 oder Artikel 50 fällt (Artikel 2 Absatz 12).

Art. 99 Abs. 4 Buchst. a, Art. 99 Abs. 8

Geldbußen für Anbieter

Verstößt ein Anbieter gegen seine Pflichten nach Artikel 16, wozu gehört sicherzustellen, dass das System die Anforderungen des Abschnitts 2 erfüllt (Artikel 16 Buchstabe a), drohen Geldbußen von bis zu 15 Mio. EUR oder, wenn der Zuwiderhandelnde ein Unternehmen ist, von bis zu 3 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahrs, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstabe a). Bei KMU, einschließlich Start-up-Unternehmen, gilt jeweils der niedrigere der genannten Beträge als Obergrenze (Artikel 99 Absatz 6); dasselbe gilt für kleine Midcap-Unternehmen (Artikel 99 Absatz 6a; Artikel 3 Absatz 14b). Jeder Mitgliedstaat legt fest, inwieweit gegen Behörden und öffentliche Stellen seines Hoheitsgebiets Geldbußen verhängt werden können (Artikel 99 Absatz 8).

Art. 14 Abs. 4

Beispiel: ein Treffer mit seinen Belegen

Beispiel: Ein System zeigt jeden Treffer mit seinem Wert und dem Referenzbild an und lässt die prüfende Person den Treffer verwerfen. Das unterstützt Artikel 14 Absatz 4 Buchstaben c und d.

Art. 14 Abs. 5

Eine Gestaltungsentscheidung, keine Vorgabe der Verordnung

Eine übliche Gestaltungsentscheidung, keine Vorgabe der Verordnung: die Entscheidung der prüfenden Person zu jedem Treffer festhalten, damit sich die Überprüfung nach Artikel 14 Absatz 5 in den Protokollen nach Artikel 12 Absatz 3 Buchstabe d nachvollziehen lässt.