Artykuł 13: przejrzystość systemów autonomicznych — EU AI Act
Jak wymogi przejrzystości z artykułu 13 EU AI Act stosują się do systemów autonomicznych — ujawnianie domeny ODD, powiadamianie pasażerów, instrukcje dla operatorów flot.
Artykuł 13 EU AI Act wymaga, aby systemy AI wysokiego ryzyka były wystarczająco przejrzyste, aby podmioty stosujące mogły interpretować wyniki i wykorzystywać je w odpowiedni sposób. W przypadku systemów autonomicznych — pojazdów samojezdnych, dronów i autonomicznych maszyn — przejrzystość decyduje o tym, czy operatorzy będący ludźmi mogą bezpiecznie monitorować decyzje sterowane przez AI, ingerować w nie i im ufać w środowiskach o krytycznym znaczeniu dla bezpieczeństwa. Na mocy Załącznika III, sekcja 2(a), systemy AI przeznaczone jako elementy bezpieczeństwa w zarządzaniu ruchem drogowym i eksploatacji pojazdów autonomicznych są klasyfikowane jako wysokiego ryzyka.
Ta strona wyjaśnia, jak wymogi przejrzystości z artykułu 13 mają zastosowanie w szczególności do systemów autonomicznych — od pojazdów samojezdnych po drony przemysłowe — w tym ujawnianie domeny operacyjnej, instrukcje dla operatorów flot, powiadamianie pasażerów oraz naruszenia na poziomie kodu, które Scanara wykrywa w oprogramowaniu systemów autonomicznych.
Które autonomiczne systemy AI muszą być przejrzyste?
Pojazdy samojezdne (SAE L3-L5)
Pojazdy autonomiczne muszą ujawniać granice swojej domeny projektowej pracy (ODD) pasażerom i operatorom flot. Pasażerowie muszą znać możliwości i ograniczenia systemu — w tym kiedy AI może zażądać przejęcia kontroli przez człowieka oraz oczekiwany czas przejęcia.
Autonomiczne drony i UAV
Wspomagane przez AI systemy wykrywania i unikania (DAA) oraz autonomiczne planowanie lotu muszą zapewniać operatorom przejrzyste wyjaśnienia decyzji nawigacyjnych, w szczególności gdy AI zastępuje zaplanowane trasy lub uruchamia procedury awaryjne. EASA wymaga przejrzystości w zakresie ograniczeń wspomaganych przez AI systemów DAA.
Autonomiczne maszyny przemysłowe
Sterowane przez AI roboty magazynowe, maszyny rolnicze i systemy produkcyjne muszą dostarczać operatorom jasnych informacji o logice decyzyjnej systemu, granicach bezpieczeństwa oraz warunkach, w których AI może zachowywać się w sposób nieprzewidywalny lub wymagać interwencji człowieka.
Autonomiczne systemy morskie i kolejowe
Systemy nawigacji AI dla autonomicznych statków i operacji kolejowych muszą być przejrzyste w zakresie decyzji dotyczących wyznaczania tras, logiki unikania kolizji i ograniczeń operacyjnych. Organy transportowe muszą otrzymać wystarczające informacje, aby ocenić przydatność AI do wdrożenia w określonych kontekstach operacyjnych.
Kluczowe obowiązki w zakresie przejrzystości dla systemów autonomicznych
Artykuł 13 wymaga instrukcji obsługi umożliwiających podmiotom stosującym odpowiednią interpretację wyników AI. W przypadku systemów autonomicznych oznacza to, że operatorzy flot i organy transportowe muszą rozumieć granice operacyjne AI, uzasadnienie decyzji oraz zachowanie w przypadkach granicznych — przejrzystość, która bezpośrednio wpływa na bezpieczeństwo fizyczne.
Domena projektowa pracy musi zostać ujawniona
Instrukcje obsługi muszą jasno definiować ODD — konkretne warunki, w których system autonomiczny jest zaprojektowany do bezpiecznej pracy. Obejmuje to warunki pogodowe, typy dróg, zakresy prędkości, granice geograficzne oraz ograniczenia zależne od pory dnia. Działanie poza udokumentowaną ODD bez ujawnienia narusza artykuł 13.
Podmioty stosujące muszą rozumieć punkty interwencji
Artykuł 13(1) wymaga, aby podmioty stosujące odpowiednio interpretowały wyniki. W przypadku systemów autonomicznych oznacza to, że operatorzy flot muszą rozumieć, kiedy i jak interweniować — w tym harmonogram żądań przejęcia kontroli, zachowania awaryjne oraz oczekiwaną reakcję systemu, gdy działa on na granicy swoich możliwości.
Pasażerowie muszą znać możliwości systemu
Pasażerowie pojazdów autonomicznych muszą być informowani o możliwościach operacyjnych i ograniczeniach systemu. Obejmuje to bieżący poziom autonomii, to, z czym AI radzi sobie, a z czym nie, oraz to, czego oczekuje się od kierowcy będącego człowiekiem (jeśli występuje). Oznaczenia identyfikacyjne pojazdów mogą się różnić w zależności od jurysdykcji.
Zachowanie w przypadkach granicznych musi zostać udokumentowane
Dokumentacja techniczna musi wyjaśniać zachowanie systemu w warunkach obniżonej sprawności: awarie czujników, niekorzystne warunki pogodowe, nietypowe przeszkody oraz utrata łączności sieciowej. Artykuł 13(3)(b)(i) wymaga ujawnienia ograniczeń i warunków, w których system może działać nieprawidłowo — w przypadku systemów autonomicznych są to ujawnienia o krytycznym znaczeniu dla bezpieczeństwa.
Nakładanie się regulacji
Przejrzystość systemów autonomicznych przecina się z ramami homologacji typu, przepisami lotniczymi i normami bezpieczeństwa. Artykuł 13 musi być skoordynowany z istniejącymi sektorowymi wymogami dotyczącymi przejrzystości i dokumentacji.
Rozporządzenie ramowe w sprawie homologacji typu (TAFR)
Unijne rozporządzenie ramowe w sprawie homologacji typu wymaga szczegółowej dokumentacji technicznej do certyfikacji pojazdów autonomicznych, w tym domeny projektowej pracy, danych walidacji bezpieczeństwa oraz projektu interfejsu człowiek-maszyna. Wymogi artykułu 13 AI Act dotyczące instrukcji obsługi muszą być zgodne z dokumentacją TAFR, aby uniknąć sprzecznych lub powielających się ujawnień.
Rozporządzenie ogólne w sprawie bezpieczeństwa (GSR)
GSR nakazuje stosowanie zaawansowanych systemów wspomagania kierowcy i określa wymogi dotyczące ich przejrzystości wobec kierowców. Rejestratory danych o zdarzeniach, wykrywanie senności kierowcy oraz inteligentne wspomaganie prędkości wymagają powiadomienia kierowcy. Artykuł 13 rozszerza te wymogi przejrzystości na poziom systemu AI, wymagając dokumentacji możliwości, ograniczeń i wydajności.
Przepisy EASA dotyczące operacji lotniczych
Agencja Unii Europejskiej ds. Bezpieczeństwa Lotniczego reguluje AI w lotnictwie, w tym operacje autonomicznych dronów. EASA wymaga przejrzystości w zakresie wspomaganych przez AI decyzji wykrywania i unikania oraz ich ograniczeń. Artykuł 13 dodaje wymogi dotyczące dokumentacji na poziomie systemu w zakresie możliwości, dokładności i odporności AI, które uzupełniają ramy przejrzystości operacyjnej EASA.
ISO 21448 (SOTIF) — Bezpieczeństwo zamierzonej funkcjonalności
Norma ISO 21448 odnosi się do zagrożeń bezpieczeństwa wynikających z niedostatków funkcjonalnych w systemach autonomicznych, wymagając identyfikacji i dokumentacji warunków wyzwalających i trybów awarii. Wymogi przejrzystości z artykułu 13 dotyczące ujawniania ograniczeń systemu ściśle odpowiadają dokumentacji SOTIF dotyczącej znanych i nieznanych niebezpiecznych scenariuszy.
Typowe naruszenia wykrywane przez Scanara
Brakująca dokumentacja granic ODD w wyniku systemu
Kod nawigacji autonomicznej, który podejmuje decyzje dotyczące wyznaczania trasy lub sterowania bez odniesienia do granic domeny projektowej pracy ani ich udostępnienia interfejsowi operatora. Artykuł 13 wymaga, aby podmioty stosujące rozumiały granice systemu — Scanara oznacza moduły decyzyjne, w których brakuje udostępnienia parametrów ODD.
Brak ujawnienia interakcji z AI w interfejsie pasażera
Interfejsy pasażerskie pojazdów lub dronów, które wyświetlają stan nawigacji lub pracy bez ujawnienia, że decyzje są sterowane przez AI. Artykuł 50(1) wymaga powiadomienia, gdy osoby fizyczne wchodzą w interakcję z systemami AI — pasażerowie muszą znać poziom autonomii i bieżące możliwości systemu.
Instrukcje obsługi bez zachowania w trybie obniżonej sprawności
Dokumentacja systemu opisująca normalne działanie bez udokumentowania zachowania w przypadku awarii czujnika, niekorzystnych warunków pogodowych, utraty łączności lub innych warunków obniżonej sprawności. Artykuł 13(3)(b)(i) wymaga ujawnienia ograniczeń i warunków, w których system może działać nieprawidłowo — ma to krytyczne znaczenie dla bezpieczeństwa systemów autonomicznych.
Lista kontrolna zgodności z artykułem 13 dla systemów autonomicznych
Uczynić decyzje AI interpretowalnymi dla operatorów
Zapewnij, aby operatorzy flot i organy transportowe mogli rozumieć uzasadnienie decyzji AI, w tym wybory nawigacyjne, dostosowania prędkości i decyzje o unikaniu przeszkód. Zapewnij narzędzia interpretowalności w czasie rzeczywistym i po fakcie.
Udokumentować domenę projektową pracy
Zapewnij szczegółową dokumentację ODD, w tym granice pogodowe, typu drogi, zakresu prędkości, geograficzne i czasowe. Uwzględnij jasne wskazówki dotyczące tego, co dzieje się, gdy system zbliża się do granic ODD lub je przekracza.
Ujawnić zachowanie w trybie obniżonej sprawności i w przypadkach granicznych
Udokumentuj zachowanie systemu w przypadku awarii czujnika, niekorzystnych warunków pogodowych, utraty łączności i nietypowych scenariuszy przeszkód. Uwzględnij strategie awaryjne, warunki minimalnego ryzyka oraz oczekiwane czasy przejęcia dla żądań przejęcia kontroli przez człowieka.
Powiadamiać pasażerów i innych użytkowników drogi
Informuj pasażerów o poziomie autonomii systemu, bieżących możliwościach i tym, czego się od nich oczekuje. W przypadku innych użytkowników drogi wdróż oznaczenia identyfikacyjne pojazdów zgodnie z wymogami jurysdykcji.
Ujawnić wskaźniki bezpieczeństwa i wydajności
Raportuj wydajność systemu, w tym dokładność wykrywania obiektów, wskaźniki fałszywie dodatnie/fałszywie ujemne, czasy reakcji oraz wyniki walidacji bezpieczeństwa w całej udokumentowanej ODD. Uwzględnij wydajność w warunkach granicznych.
Najczęściej zadawane pytania
Powiązane zasoby
Artykuł 13: przejrzystość
Pełne wymogi artykułu 13 we wszystkich branżach.
Systemy autonomiczne — Centrum branżowe
Kompletny przewodnik po zgodności z EU AI Act dla systemów autonomicznych.
Artykuł 12: prowadzenie rejestrów dla systemów autonomicznych
Wymogi rejestrowania i prowadzenia rejestrów dla autonomicznej AI.
Artykuł 14: nadzór ze strony człowieka nad systemami autonomicznymi
Obowiązki w zakresie nadzoru ze strony człowieka dla autonomicznych systemów AI.
Jak pomaga Scanara
Scanara automatyzuje zgodność z EU AI Act od kodu do dossier. Połącz swoje repozytoria GitHub i otrzymaj raporty zgodności w kilka minut.