Art. 14 dla AI w infrastrukturze krytycznej: nadzór ze strony człowieka

Art. 14 nakłada na dostawcę obowiązki projektowe. Nie zawiera zasady, że człowiek musi sprawdzać każdą indywidualną decyzję.

• art. 14(1)
  Skuteczny nadzór ze strony osób fizycznych

  Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania mogły być skutecznie nadzorowane przez osoby fizyczne.

• art. 14(2)
  Cel: zapobiegać ryzyku lub je minimalizować

  Nadzór ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka. Chodzi o ryzyko, które może się pojawić, gdy system jest wykorzystywany zgodnie z przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania. Dotyczy to w szczególności sytuacji, gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów.

• art. 14(3)
  Środki współmierne do ryzyka, autonomii i kontekstu

  Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania. Zapewnia się je za pomocą środków wbudowanych w system przez dostawcę, jeżeli jest to technicznie wykonalne, albo środków określonych przez dostawcę jako nadające się do wdrożenia przez podmiot wdrażający. Możliwe jest też połączenie obu rodzajów środków.

• art. 14(4)(a)–(c)
  Rozumieć, monitorować i interpretować

  System udostępnia się tak, aby osoby, którym powierzono nadzór, mogły odpowiednio i proporcjonalnie należycie rozumieć jego możliwości i ograniczenia oraz monitorować jego działanie. Obejmuje to wykrywanie anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzanie im. Osoby te muszą też mieć możliwość pozostawania świadomymi tendencji do automatycznego polegania lub nadmiernego polegania na wyniku (tzw. „błąd automatyzacji”), w szczególności w przypadku systemów, które udzielają informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne. Muszą też mieć możliwość prawidłowej interpretacji wyniku.

• art. 14(4)(d), (e)
  Decyzja o niekorzystaniu, unieważnienie, odwrócenie lub zatrzymanie

  Osoby, którym powierzono nadzór, muszą mieć możliwość podjęcia decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu albo o zignorowaniu, unieważnieniu lub odwróceniu jego wyniku. Muszą też mieć możliwość ingerowania w jego działanie lub przerwania go za pomocą przycisku „stop” lub podobnej procedury. Procedura ta musi pozwalać na zatrzymanie systemu w stanie bezpiecznym.

Art. 14 dotyczy wyłącznie systemów AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy AI dla infrastruktury krytycznej staje się systemem wysokiego ryzyka.

• Infrastruktura krytyczna to obszar załącznika III, a nie reżim sektorowy

  Rozporządzenie nie zawiera sektorowego reżimu dla infrastruktury krytycznej wobec dostawców ani podmiotów wdrażających. Załącznik III pkt 2 to obszar wysokiego ryzyka zatytułowany „Infrastruktura krytyczna”. Ta strona używa tych słów dla AI, która podlega rozporządzeniu przez ten punkt. Pkt 2 obejmuje systemy AI przeznaczone do wykorzystywania jako związane z bezpieczeństwem elementy procesów zarządzania krytyczną infrastrukturą cyfrową i ruchem drogowym oraz procesów ich działania lub zaopatrzenia w wodę, gaz, ciepło lub energię elektryczną. Art. 3 pkt 62 definiuje „infrastrukturę krytyczną” przez odesłanie do art. 2 pkt 4 dyrektywy (UE) 2022/2557. Rozporządzenie nie definiuje odrębnie „krytycznej infrastruktury cyfrowej”. Pkt 2 nie wymienia transportu kolejowego, lotniczego ani morskiego, portów ani lotnisk. System dla któregokolwiek z tych obszarów jest systemem wysokiego ryzyka tylko wtedy, gdy obejmuje go inny punkt załącznika III lub załącznik I.

• Objęte są tylko elementy związane z bezpieczeństwem

  Element związany z bezpieczeństwem to element produktu lub systemu AI, który spełnia funkcję bezpieczeństwa w przypadku tego produktu lub systemu AI lub którego awaria bądź nieprawidłowe działanie zagrażają zdrowiu i bezpieczeństwu osób lub mienia. Element spełnia funkcję bezpieczeństwa, gdy jego przeznaczeniem jest zapobieganie ryzyku dla zdrowia i bezpieczeństwa osób lub mienia albo jego ograniczanie (art. 3 pkt 14). Systemy AI, które są wykorzystywane wyłącznie do niezwiązanych z bezpieczeństwem aspektów pomocy użytkownikom, optymalizacji skuteczności działania, efektywności usług, automatyzacji lub udogodnień czy kontroli jakości, nie kwalifikują się jako elementy związane z bezpieczeństwem (art. 6 ust. 1a). Systemy AI, których awaria lub nieprawidłowe działanie zagrażałyby zdrowiu i bezpieczeństwu, kwalifikują się jako takie elementy (art. 6 ust. 1b). Art. 6 ust. 5 zobowiązywał Komisję do przedstawienia, nie później niż do 2 lutego 2026 r., wytycznych z wyczerpującym wykazem praktycznych przykładów przypadków wykorzystania systemów AI, które są i które nie są systemami wysokiego ryzyka. Motyw 55 tekstu z 2024 r. opisuje elementy związane z bezpieczeństwem w infrastrukturze krytycznej jako systemy wykorzystywane do bezpośredniej ochrony integralności fizycznej infrastruktury krytycznej lub zdrowia i bezpieczeństwa osób i mienia, które nie są jednak niezbędne do funkcjonowania systemu. Stwierdza, że elementy przeznaczone do wykorzystywania wyłącznie do celów cyberbezpieczeństwa nie powinny kwalifikować się jako takie elementy. Motyw nie jest wiążącą regułą. To, czy dane narzędzie prognostyczne, optymalizacyjne lub do utrzymania ruchu jest elementem związanym z bezpieczeństwem, jest pytaniem do prawnika.

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty pkt 2 jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Zgodnie z art. 6 ust. 3 nie jest nim, jeżeli nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych. Obejmuje to brak znaczącego wpływu na wynik procesu decyzyjnego. Wyjątek ten stosuje się, gdy spełniony jest którykolwiek z następujących warunków (art. 6 ust. 3 lit. a)–d)). System jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego. Albo jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka. Albo jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji. Nie ma on na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka bez odpowiedniej weryfikacji przez człowieka. Albo jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. To, jak te warunki łączą się z testem znaczącego ryzyka, jest pytaniem do prawnika. System zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych. Profilowanie definiuje art. 4 pkt 4 RODO (art. 3 pkt 52). Dostawca, który powołuje się na wyjątek, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Musi też zarejestrować system (art. 6 ust. 4, art. 49 ust. 2).

• Produkty z załącznika I to odrębna ścieżka

  System AI może być też systemem wysokiego ryzyka na podstawie art. 6 ust. 1. Wymaga to, aby był elementem związanym z bezpieczeństwem produktu albo sam był produktem objętym unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I, gdy produkt podlega ocenie zgodności przeprowadzanej przez stronę trzecią. Sekcja A załącznika I wymienia na przykład urządzenia ciśnieniowe (pkt 7) i urządzenia spalające paliwa gazowe (pkt 10). Wymogi dla tych systemów stosuje się od 2 sierpnia 2028 (art. 113 lit. c) ppkt (ii)). Sekcja B wymienia na przykład system kolei (pkt 17, dyrektywa (UE) 2016/797). Do systemów wysokiego ryzyka związanych z produktami z sekcji B stosuje się tylko art. 6 ust. 1, art. 60a oraz art. 102–112. Art. 57, 58 i 59 stosuje się tylko w zakresie, w jakim wymogi dotyczące systemów AI wysokiego ryzyka zostały włączone do tego prawodawstwa (art. 2 ust. 2). Art. 9–15 nie należą do stosowanych przepisów.

• Dostawca i podmiot wdrażający

  Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Przedsiębiorstwo sieciowe, gmina lub zarząd dróg, które rozwijają system i oddają go do użytku pod własną nazwą, są więc dostawcą. Kto wykorzystuje system, nad którym sprawuje kontrolę, jest podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Podmiot wdrażający staje się dostawcą w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie wysokiego ryzyka już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących, że podział obowiązków następuje w inny sposób. Wprowadza istotną zmianę w takim systemie, po której pozostaje on systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1). Dostawcy, który pierwotnie wprowadził system do obrotu lub oddał go do użytku, nie uznaje się wtedy już za dostawcę tego konkretnego systemu i musi on ściśle współpracować z nowym dostawcą (art. 25 ust. 2). Nie dotyczy to sytuacji, gdy pierwotny dostawca wyraźnie określił, że jego system nie może zostać zmieniony w system AI wysokiego ryzyka.

• Podmiot wdrażający powierza nadzór kompetentnym osobom

  Podmioty wdrażające muszą powierzyć sprawowanie nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie (art. 26 ust. 2). Obowiązki z ust. 1 i 2 nie naruszają innych obowiązków podmiotów wdrażających wynikających z prawa Unii lub prawa krajowego ani swobody podmiotu wdrażającego w organizowaniu własnych zasobów i działań w celu wdrożenia środków nadzoru ze strony człowieka wskazanych przez dostawcę (art. 26 ust. 3).

• Terminy

  Wymogi dla tych zastosowań z załącznika III stosuje się od 2 grudnia 2027 (art. 113 lit. c) ppkt (i)). System wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy po niej jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne muszą podjąć niezbędne kroki, aby spełnić wymogi do 2 sierpnia 2030 (art. 111 ust. 2). Art. 43 i 49 (rozdział III sekcja 5) oraz art. 72 i 73 (rozdział IX) nie mieszczą się w art. 113 lit. c). Art. 113 nie podaje dla nich odrębnej daty, więc według zasady ogólnej stosuje się je od 2 sierpnia 2026. To, jak to się łączy z powyższym terminem, jest pytaniem do prawnika.

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne ustanowione w tym państwie członkowskim można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Zakres rozporządzenia i jego granice

  Rozporządzenie stosuje się do dostawców i podmiotów wdrażających, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Nie dotyczy ono systemów AI, jeżeli i o ile są wprowadzane do obrotu, oddawane do użytku lub wykorzystywane, ze zmianami lub bez nich, wyłącznie do celów wojskowych, obronnych lub bezpieczeństwa narodowego (art. 2 ust. 3). Nie dotyczy ono obowiązków podmiotów wdrażających będących osobami fizycznymi, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej (art. 2 ust. 10). Rozporządzenia nie stosuje się do systemów AI lub modeli AI, w tym ich wyników, specjalnie rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak reguły o obsadzie, czasie reakcji ani zatwierdzaniu

  Rozporządzenie nie zawiera reguły o obsadzie operatorów, czasach reakcji ani o tym, że człowiek musi zatwierdzać każde działanie systemu. Art. 14 wymaga, aby system mógł być skutecznie nadzorowany za pomocą środków z art. 14 ust. 3, współmiernych do ryzyka, poziomu autonomii i kontekstu wykorzystywania. Samo rozporządzenie nie wskazuje żadnej normy zharmonizowanej. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1). Komisja ma opracować wytyczne dotyczące praktycznego stosowania wymogów i obowiązków z art. 8–15, 25 i 26 (art. 96 ust. 1 lit. a)).

• Przykład: pokazanie osobie nadzorującej, co wywołało działanie

  Przykład, a nie wymóg rozporządzenia: dostawca elementu związanego z bezpieczeństwem dla ruchu drogowego mógłby pokazywać wyznaczonej osobie, które dane wejściowe wywołały działanie. Mógłby też udostępnić sposób przerwania funkcji; art. 14 ust. 4 lit. e) wymaga procedury pozwalającej na zatrzymanie systemu w stanie bezpiecznym.

• Przykład: obserwowanie nadmiernego zaufania

  Przykład, a nie wymóg rozporządzenia: podmiot wdrażający mógłby śledzić, jak często pracownicy przyjmują zalecenie systemu bez zmian, aby zobaczyć, czy polegają na nim automatycznie (błąd automatyzacji, art. 14 ust. 4 lit. b)).

• Artykuł 14 rozporządzenia AI: nadzór ze strony człowieka i przycisk stop

  Art. 14 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI infrastruktura krytyczna

  Przegląd infrastruktury krytycznej: jak rozporządzenie obejmuje AI z elementami związanymi z bezpieczeństwem.

• Art. 9 dla AI w infrastrukturze krytycznej: system zarządzania ryzykiem

  AI dla infrastruktury krytycznej a art. 9: system zarządzania ryzykiem.

• Artykuł 26: obowiązki podmiotu wdrażającego AI wysokiego ryzyka

  Art. 26 dla wszystkich sektorów, w tym powierzenie nadzoru ze strony człowieka w art. 26 ust. 2.