Artikel 15: Genauigkeit & Robustheit für autonome Systeme
Genauigkeit, Robustheit und Cybersicherheit nach Artikel 15 des EU AI Act für autonome KI — Wahrnehmungsgenauigkeit, adversariale Resilienz, Redundanz, ODD-Erkennung.
Artikel 15 der EU AI Act verlangt, dass Hochrisiko-KI-Systeme über ihren gesamten Lebenszyklus ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen. Bei autonomen Systemen sind Genauigkeitsfehler Sicherheitsfehler — ein Wahrnehmungssystem, das einen Fußgänger falsch klassifiziert oder ein Stoppschild bei Regen nicht erkennt, kann tödliche Folgen haben. Nach Anhang III, Abschnitt 2, werden KI-Systeme, die als Sicherheitskomponenten in der Verwaltung und im Betrieb des Straßenverkehrs sowie der Wasser-, Gas-, Wärme- und Stromversorgung bestimmt sind, als hochriskant eingestuft.
Diese Seite erläutert, wie die Pflichten zu Genauigkeit, Robustheit und Cybersicherheit nach Artikel 15 speziell für autonome Systeme gelten — von selbstfahrenden Fahrzeugen bis zu autonomen Drohnen — einschließlich der Wahrnehmungsgenauigkeit unter widrigen Bedingungen, der Widerstandsfähigkeit gegenüber gegnerischen Eingaben, der Redundanzanforderungen, der Erkennung von Out-of-Distribution-Zuständen und der Verstöße auf Codeebene, die Scanara in autonomen KI-Systemen erkennt.
Genauigkeitskennzahlen für autonome KI-Systeme
Wahrnehmungsgenauigkeit bei widrigen Wetterbedingungen
Die Genauigkeit der Objekterkennung und -klassifizierung muss bei Regen, Schnee, Nebel, Blendung und schlechten Lichtverhältnissen validiert werden. Das Testen ausschließlich mit Daten bei klarem Wetter ist nicht mit Artikel 15 konform. Genauigkeitskennzahlen müssen je Wetterbedingung angegeben werden, und das System muss eine beeinträchtigte Wahrnehmung kontrolliert bewältigen, anstatt stillschweigend zu versagen.
Mean Average Precision (mAP) nach Objektklasse
Die Erkennungsgenauigkeit muss je Objektklasse angegeben werden — Fußgänger, Radfahrer, Fahrzeuge, Verkehrszeichen, Fahrbahnmarkierungen. Ein aggregierter mAP, der eine schlechte Fußgängererkennung verschleiert, ist nicht konform. Ungeschützte Verkehrsteilnehmer (Fußgänger, Radfahrer) müssen die höchsten Genauigkeitsschwellen erfüllen.
Lokalisierungsgenauigkeit
Über die Objekterkennung hinaus muss das System Objekte im 3D-Raum präzise lokalisieren. Ein System, das einen Fußgänger erkennt, ihn aber 2 Meter von seiner tatsächlichen Position entfernt verortet, hat eine sicherheitskritische Genauigkeitsanforderung nicht erfüllt. Die Lokalisierungsgenauigkeit muss über verschiedene Sensortypen und Umgebungsbedingungen hinweg validiert werden.
Genauigkeit der Sensorfusion
Autonome Systeme kombinieren typischerweise Kamera-, LiDAR- und Radareingaben. Die Genauigkeit nach Artikel 15 muss die fusionierte Wahrnehmungspipeline berücksichtigen, einschließlich der Genauigkeit, wenn einzelne Sensoren an Leistung verlieren oder widersprüchliche Ergebnisse liefern. Das System muss angeben, wie sich die Genauigkeit bei eingeschränkter Sensorverfügbarkeit verändert.
Genauigkeit von Vorhersage und Planung
Über die Wahrnehmung hinaus müssen die Trajektorienvorhersage (Vorhersage der künftigen Wege anderer Verkehrsteilnehmer) und die Genauigkeit der Pfadplanung validiert werden. Ein System mit hervorragender Objekterkennung, aber schlechter Trajektorienvorhersage stellt weiterhin ein Sicherheitsrisiko dar. Artikel 15 umfasst die gesamte Entscheidungspipeline.
Zentrale Pflichten zu Genauigkeit & Robustheit für autonome Systeme
Artikel 15 verlangt, dass Hochrisiko-KI-Systeme gegenüber Fehlern, Ausfällen und Inkonsistenzen widerstandsfähig sind. Bei autonomen Systemen umfasst dies die Robustheit gegenüber gegnerischen Manipulationen von Verkehrszeichen, gegenüber Sensordegradation und gegenüber dem Betrieb außerhalb des validierten Leistungsbereichs.
Widerstandsfähigkeit gegenüber gegnerischen Eingaben
Die Forschung hat gezeigt, dass gegnerische Aufkleber auf Verkehrszeichen zu Fehlklassifizierungen und gegnerische Fahrbahnmarkierungen zum Verlassen der Fahrspur führen können. Artikel 15 verlangt ausdrücklich Widerstandsfähigkeit gegenüber Eingaben, die darauf ausgelegt sind, das System zu umgehen. Autonome Systeme müssen gegen bekannte gegnerische Angriffsvektoren getestet werden.
Redundanz für sicherheitskritische Funktionen
Sicherheitskritische Wahrnehmungsfunktionen müssen über redundante Systeme mit unabhängigen Fehlermodi verfügen. Fällt der kamerabasierte Fußgängerdetektor aus, sollte ein unabhängiger LiDAR-basierter Detektor eine Sicherheitsreserve bieten. Die Robustheit nach Artikel 15 verlangt, dass kein einzelner Ausfallpunkt sicherheitskritische Funktionen beeinträchtigen kann.
Erkennung der Überschreitung des Operational Design Domain (ODD)
Das System muss erkennen, wenn es außerhalb seines validierten Leistungsbereichs betrieben wird. Ein für das Fahren auf der Autobahn trainiertes System, das in eine städtische Umgebung gerät, ohne die Einschränkung anzuzeigen, hat seinen ODD überschritten. Artikel 15 verlangt, dass das System Out-of-Distribution-Zustände erkennt und sicher darauf reagiert.
Kontrollierte Leistungsminderung bei Sensorausfall
Wenn einzelne Sensoren ausfallen oder an Leistung verlieren, muss das System eine definierte Mindestsicherheitsfähigkeit aufrechterhalten oder in einen sicheren Zustand übergehen. Artikel 15 verlangt Widerstandsfähigkeit gegenüber Ausfällen — ein System, das abstürzt oder sich unvorhersehbar verhält, wenn ein einzelner Sensor ausfällt, ist nicht robust.
Regulatorische Überschneidungen
Die Anforderungen an Genauigkeit und Robustheit autonomer Systeme überschneiden sich mit der funktionalen Sicherheit im Automobilbereich, der Sicherheit der vorgesehenen Funktion und internationalen Fahrzeugvorschriften. Die alleinige Einhaltung von Artikel 15 ist nicht ausreichend — diese sich überschneidenden Pflichten müssen gemeinsam behandelt werden.
ISO 26262 — Funktionale Sicherheit im Automobilbereich (ASIL)
ISO 26262 definiert Automotive Safety Integrity Levels (ASIL A bis D) für sicherheitsrelevante Systeme. KI-Wahrnehmungskomponenten in autonomen Fahrzeugen müssen das ihrer Sicherheitskritikalität entsprechende ASIL-Niveau erfüllen. Die Genauigkeitsanforderungen nach Artikel 15 müssen in die Sicherheitsvalidierungsprozesse gemäß ISO 26262 integriert werden.
ISO 21448 — Safety of the Intended Functionality (SOTIF)
SOTIF befasst sich mit Sicherheitsrisiken, die sich aus funktionalen Unzulänglichkeiten der vorgesehenen Funktion ergeben, einschließlich Wahrnehmungsgrenzen. Die Anforderungen an Genauigkeit und Robustheit nach Artikel 15 stimmen unmittelbar mit dem Fokus von SOTIF überein, sicherzustellen, dass das System über seine vorgesehenen Betriebsbedingungen hinweg sicher funktioniert.
UNECE WP.29 Regulations
UN-Vorschriften für das automatisierte Fahren (WP.29) legen Leistungsanforderungen für automatisiertes Spurhalten, automatisierte Fahrsysteme und Cybersicherheit fest. Die Anforderungen nach Artikel 15 ergänzen WP.29, indem sie dem bestehenden Rahmen der Fahrzeug-Typgenehmigung KI-spezifische Anforderungen an Genauigkeit und Robustheit hinzufügen.
Euro NCAP Safety Ratings
Euro NCAP bewertet zunehmend KI-gestützte Fahrerassistenz- und automatisierte Fahrfunktionen in seinen Sicherheitsbewertungen. Die Genauigkeitsvalidierung nach Artikel 15 kann Euro-NCAP-Testprotokolle als Nachweis der Leistungsvalidierung heranziehen, wobei Euro NCAP allein keine vollständige Einhaltung von Artikel 15 darstellt.
Häufige Verstöße, die Scanara erkennt
Ausschließlich aggregierte Wahrnehmungsgenauigkeit ohne Stratifizierung nach Bedingungen
Bewertungspipelines, die nur den Gesamt-mAP berechnen, ohne Stratifizierung nach Wetterbedingung, Beleuchtung, Objektklasse und Sensorkonfiguration. Scanara kennzeichnet Bewertungscode, dem nach Bedingungen stratifizierte Kennzahlen fehlen — das Testen ausschließlich mit Daten bei klarem Wetter ist nicht konform.
Keine gegnerische Robustheitsprüfung in der CI-Pipeline
CI/CD-Pipelines, denen eine gegnerische Robustheitsprüfung für Wahrnehmungseingaben fehlt. Scanara kennzeichnet Bewertungsworkflows, die nicht gegen gegnerische Verkehrszeichenmanipulationen, gegnerische Fahrbahnmarkierungen oder andere bekannte Angriffsvektoren auf autonome Wahrnehmungssysteme testen.
Ohne Out-of-Distribution-Erkennung eingesetzt
Wahrnehmungsmodelle, die ohne Mechanismen zur Erkennung von ODD-Überschreitungen oder Out-of-Distribution-Eingaben eingesetzt werden. Scanara erkennt Inferenzpipelines, denen die Erkennung von Verteilungsverschiebungen, Konfidenzschwellen für Übergänge in sichere Zustände oder die Überwachung von ODD-Grenzen fehlen.
Leistungskennzahlen nicht in der Sicherheitsdokumentation enthalten
Einsätze, bei denen die je Bedingung erhobene Wahrnehmungsgenauigkeit, die Ergebnisse der gegnerischen Robustheit und die ODD-Grenzen nicht im Sicherheitsnachweis oder in der Betriebsanleitung enthalten sind. Artikel 15 verlangt, dass Genauigkeitsniveaus und erwartete Leistungskennzahlen in der Begleitdokumentation angegeben werden.
Artikel-15-Compliance-Checkliste für autonome Systeme
Nach Bedingungen stratifizierte Wahrnehmungsgenauigkeit erreichen
Validieren Sie die Wahrnehmungsgenauigkeit über Wetterbedingungen, Beleuchtung, Objektklassen und Sensorkonfigurationen hinweg. Geben Sie alle Kennzahlen im Sicherheitsnachweis und in der Betriebsanleitung an.
Robustheit durch Redundanz sicherstellen
Implementieren Sie redundante Wahrnehmungssysteme mit unabhängigen Fehlermodi für sicherheitskritische Funktionen. Testen Sie die kontrollierte Leistungsminderung bei Sensorausfall und dokumentieren Sie die Mindestsicherheitsfähigkeiten.
Widerstandsfähigkeit gegenüber gegnerischen Eingaben implementieren
Testen Sie gegen gegnerische Verkehrszeichenmanipulationen, gegnerische Fahrbahnmarkierungen und andere bekannte Angriffsvektoren. Integrieren Sie gegnerische Tests in die CI/CD-Pipeline und dokumentieren Sie die Widerstandsfähigkeitsschwellen.
Cybersicherheit von Fahrzeug-KI-Systemen aufrechterhalten
Schützen Sie Wahrnehmungsmodelle, Sensordatenpipelines und Steuerungsalgorithmen vor unbefugter Veränderung. Implementieren Sie Integritätsprüfungen, Secure Boot und die Sicherheit von Over-the-Air-Updates für alle KI-Komponenten.
ODD-Überschreitungserkennung implementieren
Setzen Sie Mechanismen ein, die erkennen, wenn das System außerhalb seines validierten Leistungsbereichs betrieben wird. Implementieren Sie Übergänge in sichere Zustände, wenn ODD-Grenzen überschritten oder Out-of-Distribution-Zustände erkannt werden.
Häufig gestellte Fragen
Verwandte Ressourcen
Artikel 15: Genauigkeit und Robustheit
Vollständige Anforderungen von Artikel 15 in allen Branchen.
Autonome Systeme KI — Branchen-Hub
Vollständiger EU-AI-Act-Compliance-Leitfaden für autonome KI-Systeme.
Artikel 14: Menschliche Aufsicht für autonome Systeme
Anforderungen an die menschliche Aufsicht für autonome KI-Systeme.
Artikel 15: Genauigkeit für kritische Infrastruktur
Anforderungen an Genauigkeit und Robustheit für KI kritischer Infrastruktur.
So hilft Scanara
Scanara automatisiert die EU AI Act Compliance vom Code bis zum Dossier. Verbinden Sie Ihre GitHub-Repos und erhalten Sie Compliance-Berichte in Minuten.