Artikel 13 für autonome Systeme: Transparenz und Betriebsanleitung

Artikel 13 legt Pflichten für den Anbieter gegenüber dem Betreiber fest. Er begründet weder eine Pflicht zur Veröffentlichung von Informationen noch eine Pflicht, einer betroffenen Person eine Entscheidung zu erläutern.

• Art. 13(1)
  Transparenz, mit der Betreiber die Ausgaben interpretieren können

  Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist, damit die Betreiber die Ausgaben eines Systems angemessen interpretieren und verwenden können. Die Transparenz muss auf eine geeignete Art und in einem angemessenen Maß gewährleistet werden, damit Anbieter und Betreiber ihre Pflichten nach Abschnitt 3 erfüllen können.

• Art. 13(2)
  Betriebsanleitung

  Hochrisiko-KI-Systeme müssen mit Betriebsanleitungen in einem geeigneten digitalen Format oder auf andere Weise versehen werden. Die Betriebsanleitungen müssen präzise, vollständige, korrekte und eindeutige Informationen enthalten, die für die Betreiber relevant, barrierefrei zugänglich und verständlich sind.

• Art. 13(3)(a), (b)
  Mindestinhalt: Anbieter, Leistung und Grenzen

  Die Betriebsanleitung enthält mindestens den Namen und die Kontaktangaben des Anbieters sowie die Merkmale, Fähigkeiten und Leistungsgrenzen des Systems. Dazu gehört seine Zweckbestimmung. Dazu gehört das Maß an Genauigkeit — einschließlich diesbezüglicher Metriken —, Robustheit und Cybersicherheit, für das das System getestet und validiert wurde und das zu erwarten ist. Dazu gehören auch bekannte Umstände, die sich darauf auswirken können. Dazu gehören bekannte oder vorhersehbare Umstände, die zu Risiken für Gesundheit, Sicherheit oder Grundrechte führen können. Gegebenenfalls gehören außerdem dazu die technischen Fähigkeiten zur Erläuterung der Ausgabe und die Leistung in Bezug auf bestimmte Personen oder Personengruppen. Ebenso gegebenenfalls Spezifikationen für die Eingabedaten und Informationen, die es den Betreibern ermöglichen, die Ausgabe zu interpretieren.

• Art. 13(3)(c)–(f)
  Änderungen, Aufsicht, Ressourcen und Protokolle

  Die Betriebsanleitung muss außerdem die vom Anbieter zum Zeitpunkt der ersten Konformitätsbewertung vorab bestimmten Änderungen, falls es solche gibt, sowie die Maßnahmen zur menschlichen Aufsicht nach Artikel 14 angeben. Sie muss die erforderlichen Rechen- und Hardware-Ressourcen, die erwartete Lebensdauer und die Wartungsmaßnahmen angeben, auch in Bezug auf Software-Updates. Gegebenenfalls beschreibt sie die Mechanismen, die es den Betreibern ermöglichen, die Protokolle im Einklang mit Artikel 12 zu erfassen, zu speichern und auszuwerten.

Artikel 13 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Zeilen zeigen, welche KI in Fahrzeugen, unbemannten Luftfahrzeugen, Robotern und Maschinen erfasst ist und wo Artikel 13 nicht gilt.

• Autonome Systeme sind in der Verordnung keine Kategorie

  Die Verordnung kennt keine Kategorie für autonome Systeme. Ihre Definition eines KI-Systems spricht von einem „in unterschiedlichem Grade autonomen Betrieb“ (Artikel 3 Nummer 1), und Artikel 14 Absatz 3 vom „Grad der Autonomie“. Die Verordnung nennt weder ein selbstfahrendes Fahrzeug noch eine Drohne oder einen Roboter. Diese Website verwendet „autonome Systeme“ für KI in Fahrzeugen, unbemannten Luftfahrzeugen, Robotern und Maschinen. Welche Vorschriften gelten, hängt von den Rechtsvorschriften der Union ab, die das Produkt erfassen. Die nächsten Zeilen nennen drei Wege, auf denen ein KI-System hochriskant sein kann: über Anhang I Abschnitt B, über Anhang I Abschnitt A und über Anhang III Nummer 2. Weitere Bestimmungen können ebenfalls gelten, zum Beispiel Artikel 4 (KI-Kompetenz), Artikel 5 (verbotene Praktiken), Artikel 50 (Transparenz), Artikel 53 (KI-Modelle mit allgemeinem Verwendungszweck) und die übrigen Nummern von Anhang III.

• Produkte nach Abschnitt B: Fahrzeuge, unbemannte Luftfahrzeuge, Eisenbahn, Schiffsausrüstung, Maschinen

  Anhang I Abschnitt B nennt zum Beispiel Kraftfahrzeuge (Verordnungen (EU) 2018/858 und (EU) 2019/2144, Nummern 18 und 19), zwei- oder dreirädrige und vierrädrige Fahrzeuge (Nummer 14), land- und forstwirtschaftliche Fahrzeuge (Nummer 15), das Eisenbahnsystem (Nummer 17), Schiffsausrüstung (Nummer 16), unbemannte Luftfahrzeuge sowie deren Motoren, Propeller, Teile und Ausrüstung zur Fernsteuerung nach der Verordnung (EU) 2018/1139 (Nummer 20) sowie Maschinen (Verordnung (EU) 2023/1230, Nummer 21). Die Verordnung (EU) 2026/1744 hat Maschinen von Abschnitt A in Abschnitt B verschoben. Für Hochrisiko-KI-Systeme nach Artikel 6 Absatz 1, die mit solchen Produkten zusammenhängen, gelten nur Artikel 6 Absatz 1, Artikel 60a und die Artikel 102 bis 112. Die Artikel 57, 58 und 59 gelten nur, soweit die Anforderungen an Hochrisiko-KI-Systeme in diese Harmonisierungsrechtsvorschriften der Union aufgenommen wurden (Artikel 2 Absatz 2). Die Artikel 9 bis 15, 17, 26 und 99 gehören nicht zu den anwendbaren Bestimmungen. Artikel 2 Absatz 2 beschränkt sich auf KI-Systeme, die nach Artikel 6 Absatz 1 als hochriskant eingestuft sind; er schränkt zum Beispiel Artikel 4 oder Artikel 5 nicht ein. Die Übersichtsseite zu autonomen Systemen führt auf, was diese Produkte stattdessen erreicht.

• Produkte nach Abschnitt A: Kapitel III gilt für Hochrisiko-KI-Systeme

  Anhang I Abschnitt A (Nummern 2 bis 12) erfasst Spielzeug, Sportboote, Aufzüge, Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstungen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte und In-vitro-Diagnostika. Ein KI-System ist nach Artikel 6 Absatz 1 hochriskant, wenn es als Sicherheitsbauteil eines solchen Produkts verwendet werden soll oder selbst ein solches Produkt ist und das Produkt nach diesen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden muss. Eine Konformitätsbewertung durch Dritte, die ausschließlich aufgrund anderer Risiken als Risiken für Gesundheit und Sicherheit erforderlich ist, insbesondere aufgrund von Risiken im Zusammenhang mit der Verbreitung von Funkfrequenzen oder elektromagnetischen Interferenzen, die Gesundheit und Sicherheit nicht beeinträchtigen, erfüllt diese Bedingung nicht (Artikel 6 Absatz 1c). Die Anforderungen an diese Systeme gelten ab dem 2. August 2028 (Artikel 113 Buchstabe c Ziffer ii). Artikel 2 Absatz 13 erlaubt, die Anwendung bestimmter Anforderungen der Artikel 9 bis 15 und 17 bis 25 zu beschränken, sofern und soweit Rechtsvorschriften nach Abschnitt A Anforderungen vorsehen, die ein gleichwertiges oder höheres Schutzniveau bieten, und die Beschränkung das allgemeine Schutzniveau nicht verringert. Die Kommission erlässt dazu bis zum 2. August 2027 delegierte Rechtsakte.

• Anhang III Nummer 2: Straßenverkehr, Versorgung und digitale Infrastruktur

  Anhang III Nummer 2 erfasst KI-Systeme, die als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen. Der Text von Anhang III nennt weder ein Fahrzeug noch ein Luftfahrzeug, eine Drohne oder einen Roboter. Ob ein bestimmtes System in einem dieser Bereiche ein Sicherheitsbauteil ist, ist eine Frage für Ihre Rechtsberatung. Die Anforderungen an diese Verwendungen nach Anhang III gelten ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i).

• Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

  Ein System nach Nummer 2 ist nach Artikel 6 Absatz 2 hochriskant. Nach Artikel 6 Absatz 3 gilt es nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte birgt. Dazu gehört, dass es das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst. Die Verordnung wendet diese Ausnahme an, wenn eine der folgenden Bedingungen erfüllt ist (Artikel 6 Absatz 3 Buchstaben a bis d). Das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen. Oder es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern. Oder es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen. Oder es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist. Wie sich diese Bedingungen mit dem Test auf ein erhebliches Risiko verbinden, ist eine Frage für Ihre Rechtsberatung. Nimmt das System ein Profiling natürlicher Personen vor, gilt es immer als hochriskant. Profiling ist in Artikel 4 Nummer 4 DSGVO definiert (Artikel 3 Nummer 52). Ein Anbieter, der sich auf die Ausnahme beruft, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Er muss das System außerdem registrieren (Artikel 6 Absatz 4, Artikel 49 Absatz 2).

• Erfasst sind nur Sicherheitsbauteile

  Ein Sicherheitsbauteil ist ein Bestandteil eines Produkts oder KI-Systems, der eine Sicherheitsfunktion für dieses Produkt oder KI-System erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet. Ein Bauteil erfüllt eine Sicherheitsfunktion, wenn seine Zweckbestimmung darin besteht, Risiken für die Gesundheit und Sicherheit von Personen oder Eigentum abzuwenden oder zu mindern (Artikel 3 Nummer 14). KI-Systeme, die ausschließlich für nicht sicherheitsrelevante Aspekte der Nutzerunterstützung, Leistungsoptimierung, Leistungseffizienz, Automatisierung oder Benutzerfreundlichkeit oder Qualitätskontrolle verwendet werden, gelten nicht als Sicherheitsbauteile (Artikel 6 Absatz 1a). KI-Systeme, deren Ausfall oder Fehlfunktion Gesundheit und Sicherheit gefährden würde, gelten als Sicherheitsbauteile (Artikel 6 Absatz 1b). Ob eine bestimmte Steuerungs-, Navigations- oder Komfortfunktion ein Sicherheitsbauteil ist, ist eine Frage für Ihre Rechtsberatung.

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Bei einem Sicherheitsbauteil eines Produkts nach Abschnitt A ist der Produkthersteller Anbieter, wenn das System zusammen mit dem Produkt unter dem Namen oder der Handelsmarke des Herstellers in Verkehr gebracht wird oder nach dem Inverkehrbringen des Produkts unter diesem Namen oder dieser Handelsmarke in Betrieb genommen wird (Artikel 25 Absatz 3). Ein Flottenbetreiber, Anlagenbetreiber oder eine Straßenbehörde, die ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Ein Betreiber wird in drei Fällen zum Anbieter. Er versieht ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen. Er nimmt an einem solchen System eine wesentliche Veränderung vor, durch die es ein Hochrisiko-KI-System bleibt. Oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1). Der Anbieter, der das System ursprünglich in Verkehr gebracht oder in Betrieb genommen hatte, gilt dann nicht mehr als Anbieter dieses spezifischen Systems und muss eng mit dem neuen Anbieter zusammenarbeiten (Artikel 25 Absatz 2). Das gilt nicht, wenn der Erstanbieter eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.

• Artikel 86 erfasst Nummer 2 nicht

  Artikel 86 Absatz 1 gibt einer betroffenen Person ein Recht auf Erläuterung einer Entscheidung, die der Betreiber auf der Grundlage der Ausgabe eines Hochrisiko-KI-Systems aus Anhang III trifft, „mit Ausnahme der in Nummer 2 aufgeführten Systeme“. Ein Betreiber eines Systems nach Nummer 2 ist daher daran nicht gebunden. Betreiber von in Anhang III genannten Hochrisiko-KI-Systemen, die Entscheidungen in Bezug auf natürliche Personen treffen oder bei solchen Entscheidungen Unterstützung leisten, müssen die natürlichen Personen darüber informieren, dass sie der Verwendung des Systems unterliegen (Artikel 26 Absatz 11).

• Termine

  Abschnitt A: Die Anforderungen von Kapitel III Abschnitte 1 bis 3 gelten für KI-Systeme, die nach Artikel 6 Absatz 1 als hochriskant eingestuft sind, ab dem 2. August 2028 (Artikel 113 Buchstabe c Ziffer ii). Anhang III Nummer 2: ab dem 2. Dezember 2027 (Buchstabe c Ziffer i). Abschnitt B: Für die Artikel 9 bis 15 gibt es keinen Termin, weil sie nicht gelten (Artikel 2 Absatz 2); die Artikel 102 bis 110 gelten ab dem 27. Juli 2026 (Buchstabe d). Ein System, das vor dem Geltungsbeginn in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).

• Geldbußen

  Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Verstöße gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 können mit Geldbußen geahndet werden. Die Geldbuße beträgt bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen, die in dem betreffenden Mitgliedstaat niedergelassen sind, Geldbußen verhängt werden können (Artikel 99 Absatz 8). Für Produkte nach Abschnitt B gehört Artikel 99 nicht zu den Bestimmungen, die nach Artikel 2 Absatz 2 gelten.

• Reichweite und Grenzen der Verordnung

  Die Verordnung gilt für Anbieter und Betreiber, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstabe c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt nicht die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder – mit oder ohne Änderung – verwendet werden (Artikel 2 Absatz 3). Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt auch nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird. Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung. Dieser Ausschluss gilt nicht, wenn sie als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden oder wenn sie unter Artikel 5 oder 50 fallen (Artikel 2 Absatz 12). Die Verordnung gilt nicht für Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer rein persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10).

• Kein Format für die Betriebsanleitung, keine Informationspflicht gegenüber Fahrgästen

  Die Verordnung nennt kein Format, keine Vorlage und keinen Wortlaut für die Betriebsanleitung. Der Anbieter entscheidet, wie er die nach Artikel 13 Absatz 3 erforderlichen Angaben darstellt. Artikel 13 richtet sich an Betreiber; er begründet keine Informationspflicht gegenüber Fahrgästen oder Verkehrsteilnehmern. Die Verordnung selbst nennt keine harmonisierte Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien für die praktische Umsetzung der Anforderungen und Pflichten nach den Artikeln 8 bis 15, 25 und 26 (Artikel 96 Absatz 1 Buchstabe a) sowie zum Verhältnis der Verordnung zu den Rechtsvorschriften nach Anhang I (Buchstabe e).

• Beispiel: Betriebsbedingungen in der Betriebsanleitung

  Beispiel, keine Anforderung der Verordnung: Die Betriebsanleitung eines Sicherheitsbauteils könnte die Betriebsbedingungen nennen, unter denen die Genauigkeit gemessen wurde, und die Bedingungen, unter denen man sich nicht auf seine Ausgabe verlassen sollte. Artikel 13 Absatz 3 Buchstabe b Ziffern ii und iii verlangen den getesteten Genauigkeitsgrad und die Umstände, die ihn beeinflussen oder zu Risiken führen können.

• Beispiel: das Stoppverfahren beschreiben

  Beispiel, keine Anforderung der Verordnung: Die Betriebsanleitung könnte das Stoppverfahren und den Zustand beschreiben, den das System beim Anhalten erreicht. Artikel 13 Absatz 3 Buchstabe d verlangt die Maßnahmen zur menschlichen Aufsicht nach Artikel 14.

• Artikel 13 KI-Verordnung: Transparenz und Betriebsanleitung

  Artikel 13 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung autonome Systeme: Compliance

  Die Übersicht zu autonomen Systemen: die drei Wege, auf denen ein System bei Fahrzeugen, unbemannten Luftfahrzeugen, Robotern und Maschinen hochriskant sein kann, und die weiteren Bestimmungen, die gelten können.

• Artikel 14 für autonome Systeme: Menschliche Aufsicht

  Autonome Systeme und Artikel 14: Aufsicht durch natürliche Personen und was die Verordnung nicht verlangt.

• Hochrisiko-KI-Systeme nach Anhang I: der Produktsicherheitsweg

  Anhang I Abschnitte A und B: welche Produkte, welche Vorschriften gelten und was sich für Maschinen geändert hat.