Skip to main content

Artikel 14 KI-Verordnung: menschliche Aufsicht & Stopptaste

Artikel 14 verlangt, dass Hochrisiko-KI-Systeme wirksam beaufsichtigt werden können. Der Leitfaden behandelt die nötigen Fähigkeiten, die Stopptaste und gängige Aufsichtsmuster.

Anbieter von Hochrisiko-KI-Systemen müssen diese so gestalten, dass Menschen sie während der Nutzung wirksam beaufsichtigen können (Artikel 14).

Aufsichtspersonen müssen das System, soweit angemessen und verhältnismäßig, verstehen, überwachen, seine Ausgabe außer Kraft setzen und es stoppen können. Das gilt für in der EU in Verkehr gebrachte oder in Betrieb genommene Systeme. Es gilt ab 2. Dezember 2027 (Anhang III) und ab 2. August 2028 (Anhang I). Die Geldbußen betragen bis zu 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Nächster Schritt: Listen Sie die Bedienelemente auf, die Ihr System den Aufsichtspersonen bietet.

Aufsichtspersonen müssen das System verstehen, überwachen, außer Kraft setzen und stoppen können

Artikel 14 Absatz 4 nennt fünf Fähigkeiten, die das System ermöglichen muss, soweit angemessen und verhältnismäßig. Der Anbieter baut einige Maßnahmen in das System ein und bestimmt andere, die der Betreiber umsetzt (Artikel 14 Absatz 3).

Verstehen und überwachen

Aufsichtspersonen können die Fähigkeiten und Grenzen des Systems angemessen verstehen und seinen Betrieb ordnungsgemäß überwachen, auch um Anomalien, Fehlfunktionen und unerwartete Leistung zu erkennen und zu beheben (Artikel 14 Absatz 4 Buchstabe a).

Sich bewusst bleiben und richtig interpretieren

Aufsichtspersonen bleiben sich des Automatisierungsbias bewusst, also der Neigung, der Ausgabe des Systems zu sehr zu vertrauen, und können die Ausgabe richtig interpretieren (Artikel 14 Absatz 4 Buchstaben b und c).

Außer Kraft setzen und stoppen

Aufsichtspersonen können beschließen, das System nicht zu verwenden oder seine Ausgabe außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen. Sie können auch in den Betrieb des Systems eingreifen oder es mit einer „Stopptaste“ oder einem ähnlichen Verfahren unterbrechen, sodass es in einem sicheren Zustand zum Stillstand kommt (Artikel 14 Absatz 4 Buchstaben d und e).

Zwei-Personen-Prüfung bei biometrischer Fernidentifizierung

Bei Systemen nach Anhang III Nummer 1 Buchstabe a darf der Betreiber nur handeln, wenn mindestens zwei Personen die Identifizierung getrennt überprüft haben (Artikel 14 Absatz 5). Sie brauchen die nötige Kompetenz, Ausbildung und Befugnis. Die Regel gilt nicht für Strafverfolgung, Migration, Grenzkontrolle und Asyl, wenn Unionsrecht oder nationales Recht sie für unverhältnismäßig hält.

Aufsichtspersonen müssen das System in einen sicheren Zustand bringen können

Artikel 14 Absatz 4 Buchstabe e verlangt, dass Aufsichtspersonen das System mit einer „Stopptaste“ oder einem ähnlichen Verfahren unterbrechen können, sodass es in einem sicheren Zustand zum Stillstand kommt. Die Verordnung schreibt nicht vor, wie; die drei Punkte unten sind Gestaltungsentscheidungen.

Notstopp

Bieten Sie ein Bedienelement, das das System in einem sicheren Zustand anhält, und testen Sie, dass es auch bei Systemfehlern funktioniert. Eine Möglichkeit: keine neuen Anfragen mehr annehmen und laufende zu Ende führen.

Rückfallmodus

Legen Sie fest, was nach einem Stopp geschieht: Fälle an menschliche Prüfer weiterleiten, regelbasierte Standardwerte nutzen oder ganz pausieren. Dokumentieren und testen Sie den Rückfall.

Protokoll von Stopps und Eingriffen

Halten Sie jeden Stopp und jeden Eingriff mit Zeit, Bediener, Grund und Systemzustand fest. Das ist eine Gestaltungsentscheidung, die Ihnen Belege dafür liefert, wie die Aufsicht funktioniert hat.

Aufsichtsmaßnahmen müssen zu Risiko, Autonomie und Kontext passen

Artikel 14 Absatz 3 verlangt Aufsichtsmaßnahmen, die zu den Risiken, dem Grad der Autonomie und dem Nutzungskontext des Systems passen. Die drei Muster unten sind gängige Entwurfsbegriffe, keine Begriffe der Verordnung.

Human-in-the-Loop

Eine Person genehmigt jede Entscheidung, bevor sie wirksam wird. Das passt zu Entscheidungen mit schwerwiegenden Folgen.

Human-on-the-Loop

Das System läuft selbstständig; eine Person überwacht es und kann jederzeit eingreifen.

Human-in-Command

Eine Person legt die Grenzen und Bedingungen der Nutzung fest und kann jede Entscheidung außer Kraft setzen oder das System abschalten.

Artikel 14 gilt nur für Hochrisiko-KI-Systeme

Ein System ist hochriskant, wenn es in einen Bereich von Anhang III fällt, sofern keine Ausnahme nach Artikel 6 Absatz 3 greift. Ein System, das natürliche Personen profiliert, ist immer hochriskant. Hochriskant ist ein System auch, wenn es ein Produkt aus Anhang I ist oder dessen Sicherheitsbauteil und eine Konformitätsbewertung durch Dritte braucht (Artikel 6). Anbieter sind erfasst, wenn sie ein System in der EU in Verkehr bringen oder in Betrieb nehmen, gleichgültig, wo sie niedergelassen sind (Artikel 2 Absatz 1 Buchstabe a). Anbieter und Betreiber in Drittländern sind auch erfasst, wenn die Ausgabe des Systems in der EU verwendet wird (Artikel 2 Absatz 1 Buchstabe c). Hochrisiko-Systeme, die zu Produkten nach den Rechtsvorschriften in Anhang I Abschnitt B gehören, fallen nicht unter Artikel 14 (Artikel 2 Absatz 2). Für Produkte nach Anhang I Abschnitt A können einzelne Anforderungen eingeschränkt werden (Artikel 2 Absatz 13). Das betrifft die Artikel 9 bis 15 und 17 bis 25, wenn das Fachrecht ein gleichwertiges oder höheres Schutzniveau bietet. Delegierte Rechtsakte, die bis zum 2. August 2027 erlassen werden, legen fest, welche. Ausgenommen sind militärische, Verteidigungs- und nationale Sicherheitszwecke, Systeme, die allein für die wissenschaftliche Forschung entwickelt wurden, sowie Forschung und Tests vor dem Inverkehrbringen (Artikel 2 Absätze 3, 6 und 8). Systeme, die schon vor dem Geltungsbeginn in Verkehr gebracht oder in Betrieb genommen wurden, sind nur nach erheblichen Konzeptionsänderungen erfasst. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).

Häufige Fragen: Aufsichtspersonen, Dashboards, Verantwortung und Geldbußen

Wer kommt als menschliche Aufsichtsperson in Frage?

Eine natürliche Person mit der nötigen Kompetenz, Ausbildung und Befugnis sowie der erforderlichen Unterstützung. Der Betreiber überträgt die Aufsicht solchen Personen (Artikel 26 Absatz 2). Das System muss ihnen ermöglichen, es zu verstehen, seine Ausgabe außer Kraft zu setzen und es zu stoppen (Artikel 14 Absatz 4).

Reicht ein Dashboard?

Nein. Ein Dashboard unterstützt die Überwachung (Artikel 14 Absatz 4 Buchstabe a). Aufsichtspersonen müssen aber auch die Ausgabe außer Kraft setzen oder rückgängig machen und das System stoppen können (Artikel 14 Absatz 4 Buchstaben d und e). Ergänzen Sie neben dem Dashboard Bedienelemente.

Wer ist verantwortlich, der Anbieter oder der Betreiber?

Beide. Der Anbieter bestimmt die Aufsichtsmaßnahmen vor dem Inverkehrbringen oder der Inbetriebnahme. Er baut sie, sofern technisch machbar, ein, bestimmt sie zur Umsetzung durch den Betreiber oder tut beides (Artikel 14 Absatz 3). Der Betreiber überträgt die Aufsicht kompetenten Personen und verwendet das System entsprechend der Betriebsanleitung (Artikel 26 Absätze 1 und 2).

Welche Geldbußen drohen, und gilt für KMU eine niedrigere Obergrenze?

Bei Anbietern (Artikel 16) und Betreibern (Artikel 26) betragen die Geldbußen bis zu 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-ups, und kleine Midcap-Unternehmen gilt als Obergrenze der niedrigere der beiden Beträge (Artikel 99 Absätze 6 und 6a). Die Mitgliedstaaten legen die Sanktionsregeln fest (Artikel 99 Absatz 1).

Als Nächstes lesen: Risikomanagement, Aufzeichnungspflichten und Betreiberpflichten

Scanara bereitet Nachweise aus Ihren Repositorien vor

Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.