Skip to main content

Artykuł 14 rozporządzenia AI: nadzór ze strony człowieka i przycisk stop

Art. 14 wymaga, aby systemy AI wysokiego ryzyka umożliwiały skuteczny nadzór ze strony człowieka. Ten przewodnik omawia potrzebne możliwości, przycisk stop i typowe wzorce nadzoru.

Dostawcy systemów AI wysokiego ryzyka muszą projektować je tak, aby osoby fizyczne mogły skutecznie je nadzorować w okresie ich wykorzystywania (art. 14).

Osoby sprawujące nadzór muszą móc, stosownie i proporcjonalnie, zrozumieć system, monitorować go, unieważnić jego wynik i go zatrzymać. Obejmuje systemy wprowadzone do obrotu lub oddane do użytku w UE. Obowiązuje od 2 grudnia 2027 (załącznik III) i od 2 sierpnia 2028 (załącznik I). Kary sięgają 15 mln EUR lub 3 % całkowitego światowego obrotu rocznego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4). Następny krok: sporządź listę mechanizmów sterowania, które system daje tym osobom.

Osoby sprawujące nadzór muszą móc zrozumieć, monitorować, unieważnić i zatrzymać system

Art. 14 ust. 4 wymienia pięć możliwości, które system musi zapewniać, stosownie i proporcjonalnie. Dostawca wbudowuje część środków w system, a inne określa do wdrożenia przez podmiot wdrażający (w rozporządzeniu: podmiot stosujący) (art. 14 ust. 3).

Rozumieć i monitorować

Osoby sprawujące nadzór mogą należycie rozumieć możliwości i ograniczenia systemu oraz należycie monitorować jego działanie, w tym wykrywać anomalie, nieprawidłowe funkcjonowanie i nieoczekiwane wyniki działania oraz im zaradzać (art. 14 ust. 4 lit. a).

Pozostać świadomym i prawidłowo interpretować

Osoby sprawujące nadzór pozostają świadome błędu automatyzacji, czyli tendencji do nadmiernego polegania na wyniku systemu, i mogą prawidłowo interpretować wynik (art. 14 ust. 4 lit. b i c).

Unieważnić i zatrzymać

Osoby sprawujące nadzór mogą zdecydować o niekorzystaniu z systemu albo zignorować, unieważnić lub odwrócić jego wynik. Mogą też ingerować w działanie systemu lub je przerwać przyciskiem „stop” lub podobną procedurą, która pozwala zatrzymać system w stanie bezpiecznym (art. 14 ust. 4 lit. d i e).

Weryfikacja przez dwie osoby przy zdalnej identyfikacji biometrycznej

W systemach z załącznika III pkt 1 lit. a podmiot wdrażający może podjąć działanie na podstawie identyfikacji dopiero wtedy, gdy co najmniej dwie osoby zweryfikowały ją i potwierdziły odrębnie (art. 14 ust. 5). Osoby te muszą mieć wymagane kompetencje, przeszkolenie i uprawnienia. Wymóg nie dotyczy ścigania przestępstw, migracji, kontroli granicznej i azylu, gdy prawo Unii lub prawo krajowe uznaje go za nieproporcjonalny.

Osoby sprawujące nadzór muszą móc doprowadzić system do bezpiecznego zatrzymania

Art. 14 ust. 4 lit. e wymaga, aby osoby sprawujące nadzór mogły przerwać działanie systemu przyciskiem „stop” lub podobną procedurą, która pozwala zatrzymać system w stanie bezpiecznym. Rozporządzenie nie określa jak; trzy punkty poniżej to decyzje projektowe.

Zatrzymanie awaryjne

Zapewnij element sterowania, który zatrzymuje system w stanie bezpiecznym, i sprawdź, że działa także podczas błędów systemu. Jedno z rozwiązań: przestać przyjmować nowe żądania i dokończyć trwające.

Tryb awaryjny

Zdecyduj, co dzieje się po zatrzymaniu: kierować przypadki do recenzentów, używać wartości domyślnych opartych na regułach albo wstrzymać działanie w całości. Udokumentuj i przetestuj ten tryb.

Rejestr zatrzymań i interwencji

Zapisuj każde zatrzymanie i interwencję z czasem, operatorem, powodem i stanem systemu. To decyzja projektowa, która daje dowód, jak działał nadzór.

Środki nadzoru muszą odpowiadać ryzyku, autonomii i kontekstowi

Art. 14 ust. 3 wymaga środków nadzoru proporcjonalnych do ryzyka, poziomu autonomii i kontekstu wykorzystywania systemu. Trzy poniższe wzorce to powszechne terminy projektowe, a nie terminy rozporządzenia.

Człowiek w pętli

Osoba zatwierdza każdą decyzję, zanim zacznie obowiązywać. Pasuje do decyzji o poważnych skutkach.

Człowiek nad pętlą

System działa samodzielnie; osoba go monitoruje i może interweniować w dowolnym momencie.

Człowiek dowodzący

Osoba wyznacza granice i warunki wykorzystania oraz może unieważnić każdą decyzję lub wyłączyć system.

Art. 14 dotyczy wyłącznie systemów AI wysokiego ryzyka

System jest systemem wysokiego ryzyka, jeśli należy do obszaru z załącznika III, chyba że ma zastosowanie wyłączenie z art. 6 ust. 3. System, który profiluje osoby fizyczne, jest zawsze systemem wysokiego ryzyka. Jest nim także, jeśli jest produktem objętym załącznikiem I, który wymaga oceny zgodności przez stronę trzecią, lub jego komponentem bezpieczeństwa (art. 6). Dostawcy podlegają przepisom, gdy wprowadzają system do obrotu w UE lub oddają go do użytku w UE, bez względu na miejsce siedziby (art. 2 ust. 1 lit. a). Dostawcy i podmioty wdrażające z państw trzecich również podlegają przepisom, gdy wyniki systemu są wykorzystywane w UE (art. 2 ust. 1 lit. c). Systemy wysokiego ryzyka związane z produktami objętymi aktami z załącznika I sekcja B nie podlegają przepisom art. 14 (art. 2 ust. 2). W przypadku produktów z załącznika I sekcja A niektóre wymogi mogą zostać ograniczone (art. 2 ust. 13). Dotyczy to art. 9–15 i 17–25, jeśli prawo sektorowe zapewnia równoważny lub wyższy poziom ochrony. Akty delegowane, które mają zostać przyjęte do 2 sierpnia 2027, określą które. Rozporządzenie wyłącza zastosowania wojskowe, obronne i związane z bezpieczeństwem narodowym, systemy opracowane wyłącznie do celów badań naukowych oraz badania i testy przed wprowadzeniem do obrotu (art. 2 ust. 3, 6 i 8). Systemy wprowadzone do obrotu lub oddane do użytku przed datą rozpoczęcia stosowania podlegają przepisom tylko po istotnych zmianach konstrukcji. W każdym razie dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne muszą podjąć niezbędne kroki, aby spełnić wymogi do 2 sierpnia 2030 (art. 111 ust. 2).

Częste pytania: osoby nadzorujące, panele, odpowiedzialność i kary

Kto może być osobą sprawującą nadzór?

Osoba fizyczna mająca wymagane kompetencje, przeszkolenie i uprawnienia oraz potrzebne wsparcie. Podmiot wdrażający powierza nadzór takim osobom (art. 26 ust. 2), a system musi umożliwiać im zrozumienie go, unieważnienie jego wyniku i zatrzymanie (art. 14 ust. 4).

Czy wystarczy panel (dashboard)?

Nie. Panel wspiera monitorowanie (art. 14 ust. 4 lit. a), ale osoby sprawujące nadzór muszą też móc unieważnić lub odwrócić wynik i zatrzymać system (art. 14 ust. 4 lit. d i e). Dodaj elementy sterowania obok panelu.

Kto odpowiada, dostawca czy podmiot wdrażający?

Obaj. Dostawca określa środki nadzoru przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Wbudowuje je, o ile jest to technicznie wykonalne, określa je do wdrożenia przez podmiot wdrażający albo robi jedno i drugie (art. 14 ust. 3). Podmiot wdrażający powierza nadzór kompetentnym osobom i używa systemu zgodnie z instrukcją obsługi (art. 26 ust. 1 i 2).

Jakie są kary i czy MŚP mają niższą górną granicę?

Dla dostawców (art. 16) i podmiotów wdrażających (art. 26) kary sięgają do 15 mln EUR lub 3 % całkowitego światowego obrotu rocznego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4). Dla MŚP, w tym przedsiębiorstw typu start-up, i małych spółek o średniej kapitalizacji górną granicą jest niższa z tych dwóch kwot (art. 99 ust. 6 i 6a). Państwa członkowskie ustanawiają przepisy o sankcjach (art. 99 ust. 1).

Czytaj dalej: zarządzanie ryzykiem, rejestrowanie zdarzeń i obowiązki podmiotów wdrażających

Scanara przygotowuje dowody na podstawie Państwa repozytoriów

Scanara odczytuje połączone repozytoria GitHub i uruchamia skany oparte na regułach pod kątem typowych wzorców AI i uczenia maszynowego. Może pominąć kod niestandardowy. Osobno generuje projekty dokumentacji na podstawie szablonów i Państwa odpowiedzi w ocenach, jako dowody dla Państwa pracy nad zgodnością. Klasyfikację ustalają Państwo.