Artikel 13: Transparenz für autonome Systeme — EU AI Act
Wie die Transparenzanforderungen aus Artikel 13 des EU AI Act für autonome Systeme gelten — Offenlegung des Einsatzbereichs, Fahrgastinformation, Flottenbetreiber-Anweisungen.
Artikel 13 der EU AI Act verlangt, dass Hochrisiko-KI-Systeme so transparent sind, dass Betreiber die Ergebnisse interpretieren und angemessen nutzen können. Bei autonomen Systemen — selbstfahrenden Fahrzeugen, Drohnen und autonomen Maschinen — bestimmt die Transparenz, ob menschliche Bediener KI-gesteuerte Entscheidungen in sicherheitskritischen Umgebungen sicher überwachen, in sie eingreifen und ihnen vertrauen können. Gemäß Anhang III, Abschnitt 2(a) werden KI-Systeme, die als Sicherheitsbauteile im Straßenverkehrsmanagement und im Betrieb autonomer Fahrzeuge vorgesehen sind, als hochriskant eingestuft.
Diese Seite erläutert, wie die Transparenzanforderungen von Artikel 13 speziell auf autonome Systeme anzuwenden sind — von selbstfahrenden Fahrzeugen bis zu Industriedrohnen —, einschließlich der Offenlegung des Einsatzbereichs, der Anweisungen für Flottenbetreiber, der Fahrgastinformation und der Verstöße auf Code-Ebene, die Scanara in der Software autonomer Systeme erkennt.
Welche autonomen KI-Systeme müssen transparent sein?
Selbstfahrende Fahrzeuge (SAE L3-L5)
Autonome Fahrzeuge müssen die Grenzen ihres Einsatzbereichs (Operational Design Domain, ODD) gegenüber Fahrgästen und Flottenbetreibern offenlegen. Fahrgäste müssen die Fähigkeiten und Grenzen des Systems kennen — einschließlich der Frage, wann die KI eine Übernahme durch den Menschen anfordern kann, und der erwarteten Übergangszeit.
Autonome Drohnen und UAVs
KI-gestützte Detect-and-Avoid-Systeme (DAA) und autonome Flugplanung müssen den Betreibern transparente Erläuterungen von Navigationsentscheidungen liefern, insbesondere wenn die KI geplante Routen außer Kraft setzt oder Notfallverfahren auslöst. Die EASA verlangt Transparenz über die Grenzen KI-gestützter DAA-Systeme.
Autonome Industriemaschinen
KI-gesteuerte Lagerroboter, Landmaschinen und Fertigungssysteme müssen den Bedienern klare Informationen über die Entscheidungslogik, die Sicherheitsgrenzen und die Bedingungen liefern, unter denen sich die KI unvorhersehbar verhalten oder menschliches Eingreifen erfordern kann.
Autonome Schifffahrts- und Schienensysteme
KI-Navigationssysteme für autonome Schiffe und den Schienenbetrieb müssen transparent über Routenentscheidungen, die Logik der Kollisionsvermeidung und Betriebsgrenzen informieren. Verkehrsbehörden müssen ausreichende Informationen erhalten, um die Eignung der KI für den Einsatz in bestimmten Betriebskontexten zu bewerten.
Wesentliche Transparenzpflichten für autonome Systeme
Artikel 13 verlangt Betriebsanleitungen, die es Betreibern ermöglichen, KI-Ergebnisse angemessen zu interpretieren. Bei autonomen Systemen bedeutet dies, dass Flottenbetreiber und Verkehrsbehörden die Betriebsgrenzen der KI, die Entscheidungsbegründung und das Verhalten in Grenzfällen verstehen müssen — Transparenz, die sich unmittelbar auf die physische Sicherheit auswirkt.
Der Einsatzbereich muss offengelegt werden
Die Betriebsanleitung muss den ODD klar definieren — die spezifischen Bedingungen, unter denen das autonome System sicher betrieben werden soll. Dazu gehören Wetterbedingungen, Straßentypen, Geschwindigkeitsbereiche, geografische Grenzen und tageszeitliche Einschränkungen. Der Betrieb außerhalb des dokumentierten ODD ohne Offenlegung verstößt gegen Artikel 13.
Betreiber müssen die Eingriffspunkte verstehen
Artikel 13(1) verlangt von Betreibern, die Ergebnisse angemessen zu interpretieren. Bei autonomen Systemen bedeutet dies, dass Flottenbetreiber verstehen müssen, wann und wie einzugreifen ist — einschließlich der Zeitpunkte von Übernahmeaufforderungen, des Rückfallverhaltens und der erwarteten Reaktion des Systems, wenn es an der Grenze seiner Fähigkeiten betrieben wird.
Fahrgäste müssen die Systemfähigkeiten kennen
Fahrgäste in autonomen Fahrzeugen müssen über die Betriebsfähigkeiten und Grenzen des Systems informiert werden. Dazu gehören die aktuelle Autonomiestufe, was die KI bewältigen kann und was nicht, und was vom menschlichen Fahrer (falls vorhanden) erwartet wird. Kennzeichnungen zur Fahrzeugidentifizierung können je nach Rechtsordnung variieren.
Das Verhalten in Grenzfällen muss dokumentiert werden
Die technische Dokumentation muss das Systemverhalten unter beeinträchtigten Bedingungen erläutern: Sensorausfälle, widrige Witterung, ungewöhnliche Hindernisse und Verlust der Netzverbindung. Artikel 13(3)(b)(i) verlangt die Offenlegung von Grenzen und Bedingungen, unter denen das System fehlerhaft funktionieren kann — bei autonomen Systemen handelt es sich um sicherheitskritische Offenlegungen.
Regulatorische Überschneidungen
Die Transparenz autonomer Systeme überschneidet sich mit Typgenehmigungsrahmen, Luftfahrtvorschriften und Sicherheitsnormen. Artikel 13 muss mit bestehenden sektorspezifischen Transparenz- und Dokumentationsanforderungen abgestimmt werden.
Verordnung über den Rahmen für die Typgenehmigung (TAFR)
Die EU-Verordnung über den Rahmen für die Typgenehmigung verlangt eine detaillierte technische Dokumentation für die Zertifizierung autonomer Fahrzeuge, einschließlich des Einsatzbereichs, der Sicherheitsvalidierungsdaten und der Gestaltung der Mensch-Maschine-Schnittstelle. Die Anforderungen von Artikel 13 der AI Act an die Betriebsanleitung müssen mit der TAFR-Dokumentation abgestimmt werden, um widersprüchliche oder doppelte Offenlegungen zu vermeiden.
Allgemeine Sicherheitsverordnung (GSR)
Die GSR schreibt fortschrittliche Fahrerassistenzsysteme vor und legt Anforderungen an deren Transparenz gegenüber den Fahrern fest. Ereignisdatenschreiber, Müdigkeitserkennung und intelligente Geschwindigkeitsassistenz erfordern jeweils eine Information des Fahrers. Artikel 13 erweitert diese Transparenzanforderungen auf die Ebene des KI-Systems und verlangt die Dokumentation von Fähigkeiten, Grenzen und Leistung.
EASA-Vorschriften für den Flugbetrieb
Die Agentur der Europäischen Union für Flugsicherheit reguliert KI in der Luftfahrt, einschließlich des autonomen Drohnenbetriebs. Die EASA verlangt Transparenz über KI-gestützte Detect-and-Avoid-Entscheidungen und deren Grenzen. Artikel 13 fügt Anforderungen an die systemweite Dokumentation der KI-Fähigkeiten, Genauigkeit und Robustheit hinzu, die den betrieblichen Transparenzrahmen der EASA ergänzen.
ISO 21448 (SOTIF) — Sicherheit der beabsichtigten Funktionalität
ISO 21448 befasst sich mit Sicherheitsrisiken durch funktionale Unzulänglichkeiten in autonomen Systemen und verlangt die Identifizierung und Dokumentation von auslösenden Bedingungen und Fehlerarten. Die Transparenzanforderungen von Artikel 13 zur Offenlegung von Systemgrenzen stimmen eng mit der SOTIF-Dokumentation bekannter und unbekannter unsicherer Szenarien überein.
Häufige Verstöße, die Scanara erkennt
Fehlende Dokumentation der ODD-Grenzen im Systemergebnis
Autonomer Navigationscode, der Routen- oder Steuerungsentscheidungen trifft, ohne die Grenzen des Einsatzbereichs zu referenzieren oder gegenüber der Bedienerschnittstelle offenzulegen. Artikel 13 verlangt, dass Betreiber die Systemgrenzen verstehen — Scanara kennzeichnet Entscheidungsmodule, denen die Offenlegung von ODD-Parametern fehlt.
Keine Offenlegung der KI-Interaktion in der Fahrgastschnittstelle
Fahrgastschnittstellen von Fahrzeugen oder Drohnen, die den Navigations- oder Betriebsstatus anzeigen, ohne offenzulegen, dass die Entscheidungen KI-gesteuert sind. Artikel 50(1) verlangt eine Information, wenn natürliche Personen mit KI-Systemen interagieren — Fahrgäste müssen die Autonomiestufe und die aktuellen Fähigkeiten des Systems kennen.
Betriebsanleitung ohne Verhalten im beeinträchtigten Modus
Systemdokumentation, die den Normalbetrieb beschreibt, ohne das Verhalten bei Sensorausfall, widriger Witterung, Verbindungsverlust oder anderen beeinträchtigten Bedingungen zu dokumentieren. Artikel 13(3)(b)(i) verlangt die Offenlegung von Grenzen und Bedingungen, unter denen das System fehlerhaft funktionieren kann — entscheidend für die Sicherheit autonomer Systeme.
Compliance-Checkliste zu Artikel 13 für autonome Systeme
KI-Entscheidungen für Bediener interpretierbar machen
Stellen Sie sicher, dass Flottenbetreiber und Verkehrsbehörden die Entscheidungsbegründung der KI verstehen können, einschließlich Navigationsentscheidungen, Geschwindigkeitsanpassungen und Entscheidungen zur Hindernisvermeidung. Stellen Sie Werkzeuge zur Interpretierbarkeit in Echtzeit und im Nachhinein bereit.
Einsatzbereich dokumentieren
Stellen Sie eine detaillierte Dokumentation des ODD bereit, einschließlich Wetter, Straßentyp, Geschwindigkeitsbereich sowie geografischer und zeitlicher Grenzen. Geben Sie klare Hinweise dazu, was geschieht, wenn sich das System den ODD-Grenzen nähert oder diese überschreitet.
Verhalten im beeinträchtigten Modus und in Grenzfällen offenlegen
Dokumentieren Sie das Systemverhalten bei Sensorausfall, widriger Witterung, Verbindungsverlust und ungewöhnlichen Hindernisszenarien. Berücksichtigen Sie Rückfallstrategien, Bedingungen für minimales Risiko und die erwarteten Übergangszeiten für Übernahmeaufforderungen an den Menschen.
Fahrgäste und andere Verkehrsteilnehmer informieren
Informieren Sie die Fahrgäste über die Autonomiestufe des Systems, die aktuellen Fähigkeiten und was von ihnen erwartet wird. Setzen Sie für andere Verkehrsteilnehmer Kennzeichnungen zur Fahrzeugidentifizierung um, wie von der jeweiligen Rechtsordnung verlangt.
Sicherheits- und Leistungskennzahlen offenlegen
Berichten Sie die Systemleistung, einschließlich der Genauigkeit der Objekterkennung, der Falsch-Positiv-/Falsch-Negativ-Raten, der Reaktionszeiten und der Sicherheitsvalidierungsergebnisse über den dokumentierten ODD. Berücksichtigen Sie die Leistung unter Grenzbedingungen.
Häufig gestellte Fragen
Verwandte Ressourcen
Artikel 13: Transparenz
Vollständige Anforderungen von Artikel 13 in allen Branchen.
Autonome Systeme — Branchen-Hub
Vollständiger Leitfaden zur Einhaltung der EU AI Act für autonome Systeme.
Artikel 12: Aufzeichnungspflichten für autonome Systeme
Protokollierungs- und Aufzeichnungsanforderungen für autonome KI.
Artikel 14: Menschliche Aufsicht über autonome Systeme
Pflichten zur menschlichen Aufsicht für autonome KI-Systeme.
So hilft Scanara
Scanara automatisiert die EU AI Act Compliance vom Code bis zum Dossier. Verbinden Sie Ihre GitHub-Repos und erhalten Sie Compliance-Berichte in Minuten.