Artykuł 15: dokładność i solidność systemów autonomicznych
Jak wymogi dokładności, solidności i cyberbezpieczeństwa z artykułu 15 EU AI Act stosują się do autonomicznej AI — dokładność percepcji, odporność na ataki, redundancja, ODD.
Artykuł 15 EU AI Act wymaga, aby systemy AI wysokiego ryzyka osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa przez cały cykl życia. W systemach autonomicznych awarie dokładności są awariami bezpieczeństwa — system percepcji, który błędnie sklasyfikuje pieszego lub nie wykryje znaku stop w deszczu, może mieć śmiertelne konsekwencje. Zgodnie z załącznikiem III, sekcja 2, systemy AI przeznaczone do stosowania jako elementy bezpieczeństwa w zarządzaniu i eksploatacji ruchu drogowego oraz dostaw wody, gazu, ciepła i energii elektrycznej są klasyfikowane jako systemy wysokiego ryzyka.
Ta strona wyjaśnia, w jaki sposób obowiązki dotyczące dokładności, solidności i cyberbezpieczeństwa wynikające z artykułu 15 mają zastosowanie w szczególności do systemów autonomicznych — od pojazdów autonomicznych po autonomiczne drony — w tym dokładność percepcji w niekorzystnych warunkach, odporność na dane wejściowe stworzone przez adwersarza, wymogi redundancji, wykrywanie sytuacji spoza rozkładu oraz jakie naruszenia na poziomie kodu wykrywa Scanara w autonomicznych systemach AI.
Metryki dokładności dla autonomicznych systemów AI
Dokładność percepcji w niekorzystnych warunkach pogodowych
Dokładność wykrywania i klasyfikacji obiektów musi być zwalidowana w warunkach deszczu, śniegu, mgły, oślepienia i słabego oświetlenia. Testowanie wyłącznie na danych z czystej pogody nie jest zgodne z artykułem 15. Metryki dokładności muszą być deklarowane dla każdego warunku pogodowego, a system musi radzić sobie z pogorszoną percepcją w sposób kontrolowany, a nie zawodzić po cichu.
Średnia precyzja (mAP) według klasy obiektu
Dokładność wykrywania musi być raportowana według klasy obiektu — piesi, rowerzyści, pojazdy, znaki drogowe, oznakowanie poziome. Zagregowany mAP, który maskuje słabe wykrywanie pieszych, nie jest zgodny. Niechronieni uczestnicy ruchu drogowego (piesi, rowerzyści) muszą spełniać najwyższe progi dokładności.
Dokładność lokalizacji
Poza wykrywaniem obiektów system musi dokładnie lokalizować je w przestrzeni 3D. System, który wykrywa pieszego, ale umieszcza go 2 metry od jego rzeczywistej pozycji, nie spełnił wymogu dokładności krytycznego dla bezpieczeństwa. Dokładność lokalizacji musi być zwalidowana dla różnych typów czujników i warunków środowiskowych.
Dokładność fuzji czujników
Systemy autonomiczne zazwyczaj łączą dane wejściowe z kamery, LiDAR-u i radaru. Dokładność na podstawie artykułu 15 musi uwzględniać połączony potok percepcji, w tym dokładność, gdy poszczególne czujniki tracą jakość lub są ze sobą niezgodne. System musi deklarować, jak zmienia się dokładność przy częściowej dostępności czujników.
Dokładność przewidywania i planowania
Poza percepcją należy zwalidować przewidywanie trajektorii (przewidywanie przyszłych torów innych uczestników ruchu) oraz dokładność planowania trasy. System z doskonałym wykrywaniem obiektów, lecz słabym przewidywaniem trajektorii nadal stanowi zagrożenie dla bezpieczeństwa. Artykuł 15 obejmuje cały potok decyzyjny.
Kluczowe obowiązki w zakresie dokładności i solidności dla systemów autonomicznych
Artykuł 15 wymaga, aby systemy AI wysokiego ryzyka były odporne na błędy, usterki i niespójności. W systemach autonomicznych obejmuje to solidność wobec adwersarialnych manipulacji znakami drogowymi, degradacji czujników oraz działania poza zwalidowanym zakresem wydajności.
Odporność na dane wejściowe stworzone przez adwersarza
Badania wykazały, że adwersarialne naklejki na znakach drogowych mogą powodować błędną klasyfikację, a adwersarialne oznakowanie poziome może powodować zjechanie z pasa ruchu. Artykuł 15 wyraźnie wymaga odporności na dane wejściowe zaprojektowane w celu obejścia systemu. Systemy autonomiczne muszą być testowane pod kątem znanych adwersarialnych wektorów ataku.
Redundancja dla funkcji krytycznych dla bezpieczeństwa
Funkcje percepcji krytyczne dla bezpieczeństwa muszą mieć systemy redundantne o niezależnych trybach awarii. Jeśli detektor pieszych oparty na kamerze zawiedzie, niezależny detektor oparty na LiDAR powinien zapewnić rezerwę bezpieczeństwa. Solidność na podstawie artykułu 15 wymaga, aby żaden pojedynczy punkt awarii nie mógł naruszyć funkcji krytycznych dla bezpieczeństwa.
Wykrywanie przekroczenia domeny projektowania operacyjnego (ODD)
System musi wykrywać, kiedy działa poza swoim zwalidowanym zakresem wydajności. System wytrenowany do jazdy po autostradzie, który wjeżdża do środowiska miejskiego bez zadeklarowania ograniczenia, przekroczył swoją ODD. Artykuł 15 wymaga, aby system rozpoznawał sytuacje spoza rozkładu i reagował na nie w bezpieczny sposób.
Kontrolowana degradacja w przypadku awarii czujnika
Gdy poszczególne czujniki zawiodą lub ulegną degradacji, system musi utrzymać zdefiniowaną minimalną zdolność bezpieczeństwa lub przejść do stanu bezpiecznego. Artykuł 15 wymaga odporności na usterki — system, który ulega awarii lub zachowuje się nieprzewidywalnie, gdy zawiedzie pojedynczy czujnik, nie jest solidny.
Nakładanie się regulacji
Wymogi dotyczące dokładności i solidności systemów autonomicznych krzyżują się z bezpieczeństwem funkcjonalnym w motoryzacji, bezpieczeństwem zamierzonej funkcjonalności oraz międzynarodowymi przepisami dotyczącymi pojazdów. Sama zgodność z artykułem 15 jest niewystarczająca — te nakładające się obowiązki muszą być rozpatrywane łącznie.
ISO 26262 — Bezpieczeństwo funkcjonalne w motoryzacji (ASIL)
ISO 26262 definiuje Automotive Safety Integrity Levels (od ASIL A do D) dla systemów związanych z bezpieczeństwem. Komponenty percepcji AI w pojazdach autonomicznych muszą spełniać poziom ASIL odpowiedni do ich krytyczności dla bezpieczeństwa. Wymogi dokładności artykułu 15 muszą być zintegrowane z procesami walidacji bezpieczeństwa ISO 26262.
ISO 21448 — Safety of the Intended Functionality (SOTIF)
SOTIF zajmuje się zagrożeniami bezpieczeństwa wynikającymi z niedoskonałości funkcjonalnych zamierzonej funkcjonalności, w tym ograniczeniami percepcji. Wymogi dokładności i solidności artykułu 15 są bezpośrednio zgodne z celem SOTIF, jakim jest zapewnienie, że system działa bezpiecznie we wszystkich zamierzonych warunkach eksploatacji.
UNECE WP.29 Regulations
Przepisy ONZ dotyczące jazdy zautomatyzowanej (WP.29) określają wymogi wydajnościowe dla zautomatyzowanego utrzymywania pasa ruchu, zautomatyzowanych systemów jazdy i cyberbezpieczeństwa. Wymogi artykułu 15 uzupełniają WP.29, dodając specyficzne dla AI obowiązki w zakresie dokładności i solidności do istniejących ram homologacji typu pojazdu.
Euro NCAP Safety Ratings
Euro NCAP coraz częściej ocenia oparte na AI funkcje wspomagania kierowcy i jazdy zautomatyzowanej w swoich ocenach bezpieczeństwa. Walidacja dokładności artykułu 15 może wykorzystywać protokoły testowe Euro NCAP jako dowód walidacji wydajności, chociaż samo Euro NCAP nie stanowi pełnej zgodności z artykułem 15.
Typowe naruszenia wykrywane przez Scanara
Wyłącznie zagregowana dokładność percepcji bez stratyfikacji według warunków
Potoki oceny, które obliczają tylko ogólny mAP bez stratyfikacji według warunku pogodowego, oświetlenia, klasy obiektu i konfiguracji czujników. Scanara oznacza kod oceny, w którym brakuje metryk stratyfikowanych według warunków — testowanie wyłącznie na danych z czystej pogody nie jest zgodne.
Brak testów odporności adwersarialnej w potoku CI
Potoki CI/CD pozbawione testów odporności adwersarialnej dla danych wejściowych percepcji. Scanara oznacza przepływy oceny, które nie testują pod kątem adwersarialnych modyfikacji znaków drogowych, adwersarialnego oznakowania poziomego lub innych znanych wektorów ataku wymierzonych w autonomiczne systemy percepcji.
Wdrożony bez wykrywania sytuacji spoza rozkładu
Modele percepcji wdrożone bez mechanizmów wykrywania przekroczenia ODD lub danych wejściowych spoza rozkładu. Scanara wykrywa potoki wnioskowania pozbawione wykrywania przesunięcia rozkładu, progów ufności dla przejść do stanu bezpiecznego lub monitorowania granic ODD.
Metryki wydajności nieujęte w dokumentacji bezpieczeństwa
Wdrożenia, w których dokładność percepcji dla poszczególnych warunków, wyniki odporności adwersarialnej i granice ODD nie są ujęte w dokumentacji bezpieczeństwa lub instrukcji obsługi. Artykuł 15 wymaga, aby poziomy dokładności i oczekiwane metryki wydajności były deklarowane w dokumentacji towarzyszącej.
Lista kontrolna zgodności z artykułem 15 dla systemów autonomicznych
Osiągnij dokładność percepcji stratyfikowaną według warunków
Zwaliduj dokładność percepcji w warunkach pogodowych, oświetleniu, klasach obiektów i konfiguracjach czujników. Zadeklaruj wszystkie metryki w dokumentacji bezpieczeństwa i instrukcji obsługi.
Zapewnij solidność dzięki redundancji
Wdróż redundantne systemy percepcji o niezależnych trybach awarii dla funkcji krytycznych dla bezpieczeństwa. Przetestuj kontrolowaną degradację w przypadku awarii czujnika i udokumentuj minimalne zdolności bezpieczeństwa.
Wdróż odporność na dane wejściowe stworzone przez adwersarza
Testuj pod kątem adwersarialnych modyfikacji znaków drogowych, adwersarialnego oznakowania poziomego i innych znanych wektorów ataku. Uwzględnij testy adwersarialne w potoku CI/CD i udokumentuj progi odporności.
Utrzymuj cyberbezpieczeństwo systemów AI pojazdu
Chroń modele percepcji, potoki danych czujników i algorytmy sterowania przed nieautoryzowaną modyfikacją. Wdróż kontrole integralności, bezpieczny rozruch i bezpieczeństwo aktualizacji bezprzewodowych dla wszystkich komponentów AI.
Wdróż wykrywanie przekroczenia ODD
Wdróż mechanizmy wykrywania, kiedy system działa poza swoim zwalidowanym zakresem wydajności. Wdróż przejścia do stanu bezpiecznego, gdy granice ODD zostaną przekroczone lub wykryte zostaną sytuacje spoza rozkładu.
Najczęściej zadawane pytania
Powiązane zasoby
Artykuł 15: Dokładność i solidność
Pełne wymogi artykułu 15 we wszystkich branżach.
AI systemów autonomicznych — Centrum branżowe
Kompletny przewodnik zgodności z EU AI Act dla autonomicznych systemów AI.
Artykuł 14: Nadzór człowieka dla systemów autonomicznych
Wymogi nadzoru człowieka dla autonomicznych systemów AI.
Artykuł 15: Dokładność dla infrastruktury krytycznej
Wymogi dokładności i solidności dla AI infrastruktury krytycznej.
Jak pomaga Scanara
Scanara automatyzuje zgodność z EU AI Act od kodu do dossier. Połącz swoje repozytoria GitHub i otrzymaj raporty zgodności w kilka minut.