Artikel 14 für KI in kritischer Infrastruktur: Menschliche Aufsicht

Artikel 14 legt Konzeptionspflichten für den Anbieter fest. Er enthält keine Regel, dass eine Person jede einzelne Entscheidung prüfen muss.

• Art. 14(1)
  Wirksame Aufsicht durch natürliche Personen

  Hochrisiko-KI-Systeme müssen — auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle — so konzipiert und entwickelt werden, dass natürliche Personen sie während der Dauer ihrer Verwendung wirksam beaufsichtigen können.

• Art. 14(2)
  Ziel: Risiken verhindern oder minimieren

  Die Aufsicht dient der Verhinderung oder Minimierung von Risiken für Gesundheit, Sicherheit oder Grundrechte. Diese Risiken können entstehen, wenn das System im Einklang mit seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird. Das gilt insbesondere, wenn solche Risiken trotz der Einhaltung anderer Anforderungen fortbestehen.

• Art. 14(3)
  Maßnahmen, die Risiken, Autonomie und Kontext angemessen sind

  Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung angemessen sein. Sie werden gewährleistet durch Vorkehrungen, die der Anbieter, sofern technisch machbar, in das System einbaut, durch Vorkehrungen, die der Anbieter als geeignet für die Umsetzung durch den Betreiber bestimmt, oder durch beides.

• Art. 14(4)(a)–(c)
  Verstehen, überwachen und interpretieren

  Das System muss so zur Verfügung gestellt werden, dass die Personen, denen die Aufsicht übertragen wurde, angemessen und verhältnismäßig in der Lage sind, seine Fähigkeiten und Grenzen zu verstehen und seinen Betrieb zu überwachen. Dazu gehört, Anomalien, Fehlfunktionen und unerwartete Leistung zu erkennen und zu beheben. Sie müssen sich außerdem einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in die Ausgabe („Automatisierungsbias“) bewusst bleiben können, insbesondere bei Systemen, die Informationen oder Empfehlungen für Entscheidungen natürlicher Personen ausgeben. Und sie müssen die Ausgabe richtig interpretieren können.

• Art. 14(4)(d), (e)
  Nicht verwenden, außer Kraft setzen, rückgängig machen oder stoppen

  Die Personen, denen die Aufsicht übertragen wurde, müssen in einer bestimmten Situation beschließen können, das System nicht zu verwenden oder seine Ausgabe außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen. Sie müssen außerdem in den Betrieb eingreifen oder ihn mit einer „Stopptaste“ oder einem ähnlichen Verfahren unterbrechen können. Dieses Verfahren muss es dem System ermöglichen, in einem sicheren Zustand zum Stillstand zu kommen.

Artikel 14 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Zeilen zeigen, wo KI für kritische Infrastruktur hochriskant wird.

• Kritische Infrastruktur ist ein Bereich in Anhang III, kein sektorweites Regime

  Die Verordnung kennt für Anbieter und Betreiber kein sektorweites Regime für kritische Infrastruktur. Anhang III Nummer 2 ist der Hochrisiko-Bereich mit der Überschrift „Kritische Infrastruktur“. Diese Website verwendet die Wörter für KI, die darüber unter die Verordnung fällt. Nummer 2 erfasst KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen. Artikel 3 Nummer 62 definiert „kritische Infrastruktur“ durch Verweis auf Artikel 2 Nummer 4 der Richtlinie (EU) 2022/2557. Die Verordnung definiert „kritische digitale Infrastruktur“ nicht gesondert. Nummer 2 nennt weder Eisenbahn-, Luft- oder Seeverkehr noch Häfen oder Flughäfen. Ein System für einen dieser Bereiche ist nur dann hochriskant, wenn ein anderer Punkt von Anhang III oder Anhang I es erfasst.

• Erfasst sind nur Sicherheitsbauteile

  Ein Sicherheitsbauteil ist ein Bestandteil eines Produkts oder KI-Systems, der eine Sicherheitsfunktion für dieses Produkt oder KI-System erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet. Ein Bauteil erfüllt eine Sicherheitsfunktion, wenn seine Zweckbestimmung darin besteht, Risiken für die Gesundheit und Sicherheit von Personen oder Eigentum abzuwenden oder zu mindern (Artikel 3 Nummer 14). KI-Systeme, die ausschließlich für nicht sicherheitsrelevante Aspekte der Nutzerunterstützung, Leistungsoptimierung, Leistungseffizienz, Automatisierung oder Benutzerfreundlichkeit oder Qualitätskontrolle verwendet werden, gelten nicht als Sicherheitsbauteile (Artikel 6 Absatz 1a). KI-Systeme, deren Ausfall oder Fehlfunktion Gesundheit und Sicherheit gefährden würde, gelten als Sicherheitsbauteile (Artikel 6 Absatz 1b). Artikel 6 Absatz 5 verpflichtete die Kommission, spätestens am 2. Februar 2026 Leitlinien mit einer umfassenden Liste praktischer Beispiele für hochriskante und nicht hochriskante Anwendungsfälle von KI-Systemen bereitzustellen. Erwägungsgrund 55 des Textes von 2024 beschreibt Sicherheitsbauteile kritischer Infrastruktur als Systeme, die dazu dienen, die physische Unversehrtheit kritischer Infrastruktur oder die Gesundheit und Sicherheit von Personen und Eigentum unmittelbar zu schützen, deren Vorhandensein für das Funktionieren des Systems aber nicht notwendig ist. Er sagt, dass Bauteile, die ausschließlich für Cybersicherheitszwecke verwendet werden sollen, nicht als Sicherheitsbauteile gelten sollten. Ein Erwägungsgrund ist keine verbindliche Regel. Ob ein bestimmtes Prognose-, Optimierungs- oder Wartungswerkzeug ein Sicherheitsbauteil ist, ist eine Frage für Ihre Rechtsberatung.

• Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

  Ein System nach Nummer 2 ist nach Artikel 6 Absatz 2 hochriskant. Nach Artikel 6 Absatz 3 gilt es nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte birgt. Dazu gehört, dass es das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst. Die Verordnung wendet diese Ausnahme an, wenn eine der folgenden Bedingungen erfüllt ist (Artikel 6 Absatz 3 Buchstaben a bis d). Das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen. Oder es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern. Oder es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen. Oder es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist. Wie sich diese Bedingungen mit dem Test auf ein erhebliches Risiko verbinden, ist eine Frage für Ihre Rechtsberatung. Nimmt das System ein Profiling natürlicher Personen vor, gilt es immer als hochriskant. Profiling ist in Artikel 4 Nummer 4 DSGVO definiert (Artikel 3 Nummer 52). Ein Anbieter, der sich auf die Ausnahme beruft, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Er muss das System außerdem registrieren (Artikel 6 Absatz 4, Artikel 49 Absatz 2).

• Produkte nach Anhang I sind ein eigener Weg

  Ein KI-System kann auch nach Artikel 6 Absatz 1 hochriskant sein. Dafür muss es Sicherheitsbauteil eines Produkts sein oder selbst ein Produkt sein, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt und einer Konformitätsbewertung durch Dritte unterzogen werden muss. Abschnitt A von Anhang I nennt zum Beispiel Druckgeräte (Nummer 7) und Geräte zur Verbrennung gasförmiger Brennstoffe (Nummer 10). Die Anforderungen für diese Systeme gelten ab dem 2. August 2028 (Artikel 113 Buchstabe c Ziffer ii). Abschnitt B nennt zum Beispiel das Eisenbahnsystem (Nummer 17, Richtlinie (EU) 2016/797). Für Hochrisiko-KI-Systeme, die mit Produkten nach Abschnitt B zusammenhängen, gelten nur Artikel 6 Absatz 1, Artikel 60a und die Artikel 102 bis 112. Die Artikel 57, 58 und 59 gelten nur, soweit die Anforderungen an Hochrisiko-KI-Systeme in diese Rechtsvorschriften aufgenommen wurden (Artikel 2 Absatz 2). Die Artikel 9 bis 15 gehören nicht zu den anwendbaren Bestimmungen.

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Ein Versorgungsunternehmen, eine Gemeinde oder eine Straßenbehörde, die ein System entwickelt und unter eigenem Namen in Betrieb nimmt, ist daher Anbieter. Wer ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Ein Betreiber wird in drei Fällen zum Anbieter. Er versieht ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen. Er nimmt an einem solchen System eine wesentliche Veränderung vor, durch die es ein Hochrisiko-KI-System bleibt. Oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1). Der Anbieter, der das System ursprünglich in Verkehr gebracht oder in Betrieb genommen hatte, gilt dann nicht mehr als Anbieter dieses spezifischen Systems und muss eng mit dem neuen Anbieter zusammenarbeiten (Artikel 25 Absatz 2). Das gilt nicht, wenn der Erstanbieter eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.

• Der Betreiber überträgt die Aufsicht kompetenten Personen

  Betreiber übertragen die menschliche Aufsicht natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, und lassen ihnen die erforderliche Unterstützung zukommen (Artikel 26 Absatz 2). Die Pflichten der Absätze 1 und 2 lassen andere Betreiberpflichten nach Unionsrecht oder nationalem Recht sowie die Freiheit des Betreibers unberührt, seine eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht zu organisieren (Artikel 26 Absatz 3).

• Termine

  Die Anforderungen für diese Verwendungen nach Anhang III gelten ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Artikel 43 und 49 (Kapitel III Abschnitt 5) und die Artikel 72 und 73 (Kapitel IX) fallen nicht unter Artikel 113 Buchstabe c. Artikel 113 nennt für sie keinen eigenen Termin; nach der allgemeinen Regel gelten sie daher ab dem 2. August 2026. Wie sich das zum obigen Termin verhält, ist eine Frage für Ihre Rechtsberatung.

• Geldbußen

  Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Verstöße gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 können mit Geldbußen geahndet werden. Die Geldbuße beträgt bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen, die in dem betreffenden Mitgliedstaat niedergelassen sind, Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Reichweite und Grenzen der Verordnung

  Die Verordnung gilt für Anbieter und Betreiber, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstabe c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt nicht die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder – mit oder ohne Änderung – verwendet werden (Artikel 2 Absatz 3). Sie gilt nicht für Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer rein persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt auch nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird. Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung. Dieser Ausschluss gilt nicht, wenn sie als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden oder wenn sie unter Artikel 5 oder 50 fallen (Artikel 2 Absatz 12).

• Keine Regel zu Personalausstattung, Reaktionszeit oder Freigabe

  Die Verordnung enthält keine Regel zur Personalausstattung der Bediener, zu Reaktionszeiten oder dazu, dass eine Person jede Aktion des Systems freigeben muss. Artikel 14 verlangt, dass das System durch Maßnahmen nach Artikel 14 Absatz 3 wirksam beaufsichtigt werden kann; diese Maßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung angemessen sein. Die Verordnung selbst nennt keine harmonisierte Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien für die praktische Umsetzung der Anforderungen und Pflichten nach den Artikeln 8 bis 15, 25 und 26 (Artikel 96 Absatz 1 Buchstabe a).

• Beispiel: der aufsichtführenden Person zeigen, was eine Aktion ausgelöst hat

  Beispiel, keine Anforderung der Verordnung: Der Anbieter eines Sicherheitsbauteils für den Straßenverkehr könnte der zugewiesenen Person zeigen, welche Eingabe eine Aktion ausgelöst hat. Er könnte auch eine Möglichkeit bieten, die Funktion zu unterbrechen; Artikel 14 Absatz 4 Buchstabe e verlangt ein Verfahren, mit dem das System in einem sicheren Zustand zum Stillstand kommen kann.

• Beispiel: auf übermäßiges Vertrauen achten

  Beispiel, keine Anforderung der Verordnung: Ein Betreiber könnte erfassen, wie oft Mitarbeitende die Empfehlung des Systems unverändert übernehmen, um zu sehen, ob sie sich automatisch darauf verlassen (Automatisierungsbias, Artikel 14 Absatz 4 Buchstabe b).

• Artikel 14 KI-Verordnung: menschliche Aufsicht & Stopptaste

  Artikel 14 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung kritische Infrastruktur: Compliance

  Die Übersicht zu kritischer Infrastruktur: Wie die Verordnung KI für Sicherheitsbauteile erfasst.

• Artikel 9 für KI in kritischer Infrastruktur: Risikomanagementsystem

  KI für kritische Infrastruktur und Artikel 9: das Risikomanagementsystem.

• Artikel 26: Betreiberpflichten für Hochrisiko-KI

  Artikel 26 für alle Sektoren, einschließlich der Übertragung der menschlichen Aufsicht in Artikel 26 Absatz 2.