Art. 14 dla biometrycznej AI: nadzór ludzki

Art. 14 nakłada na dostawcę obowiązki projektowe. Ust. 5 dodaje zasadę dotyczącą wyłącznie systemów zdalnej identyfikacji biometrycznej.

• art. 14(1)–(2)
  Skuteczny nadzór ze strony osób fizycznych

  Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym z odpowiednimi narzędziami interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania mogły być skutecznie nadzorowane przez osoby fizyczne. Nadzór ludzki ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub jego minimalizowanie, które może powstać w związku z wykorzystywaniem systemu zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego użycia, w szczególności gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów sekcji 2.

• art. 14(3)
  Środki współmierne do ryzyka, autonomii i kontekstu

  Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania systemu. Zapewnia się je za pomocą jednego lub obu następujących rodzajów środków. Pierwszy rodzaj to środki określone i, jeżeli jest to technicznie wykonalne, wbudowane w system przez dostawcę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Drugi rodzaj to środki określone przez dostawcę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku, które nadają się do wdrożenia przez podmiot wdrażający.

• art. 14(4)
  Co muszą móc robić osoby sprawujące nadzór

  System AI wysokiego ryzyka udostępnia się podmiotowi wdrażającemu w taki sposób, aby osoby fizyczne, którym powierzono nadzór ludzki, miały możliwość, stosownie do okoliczności i proporcjonalnie, zrobić pięć rzeczy. Po pierwsze: właściwie zrozumieć odpowiednie możliwości i ograniczenia systemu oraz być w stanie należycie monitorować jego działanie, w tym w celu wykrywania i usuwania anomalii, nieprawidłowego działania i nieoczekiwanych wyników. Po drugie: mieć świadomość możliwej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku systemu (tzw. błąd automatyzacji), w szczególności w przypadku systemów wykorzystywanych do udzielania informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne. Po trzecie: prawidłowo interpretować wynik systemu, biorąc pod uwagę na przykład dostępne narzędzia i metody interpretacji. Po czwarte: podjąć decyzję, w każdej konkretnej sytuacji, o niekorzystaniu z systemu lub w inny sposób zignorować, unieważnić lub odwrócić jego wynik. Po piąte: ingerować w działanie systemu lub przerwać jego działanie za pomocą przycisku „stop” lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.

• art. 14(5)
  Zdalna identyfikacja: żadnego działania bez odrębnej weryfikacji przez dwie osoby

  W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1 lit. a), środki nadzoru muszą ponadto zapewniać, aby podmiot wdrażający nie podejmował żadnego działania ani decyzji na podstawie identyfikacji będącej wynikiem działania systemu, jeżeli identyfikacji tej nie zweryfikowały ani nie potwierdziły odrębnie co najmniej dwie osoby fizyczne mające wymagane kompetencje, przeszkolenie i uprawnienia.

• art. 14(5)
  Wyjątek, gdy prawo Unii lub prawo krajowe uznaje weryfikację za nieproporcjonalną

  Wymóg odrębnej weryfikacji przez co najmniej dwie osoby fizyczne nie ma zastosowania do systemów AI wysokiego ryzyka wykorzystywanych do celów ścigania przestępstw, migracji, kontroli granicznej lub azylu, w przypadkach gdy prawo Unii lub prawo krajowe uznaje stosowanie tego wymogu za nieproporcjonalne.

Art. 14 wiąże wyłącznie systemy AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy biometryczna AI jest systemem wysokiego ryzyka, kogo wiążą przepisy i kto w praktyce sprawuje nadzór.

• Załącznik III zawiera obszar „Biometria”, ograniczony do trzech rodzajów systemów

  Załącznik III zawiera obszar „Biometria”, w zakresie, w jakim jego stosowanie jest dozwolone na podstawie odpowiednich przepisów prawa Unii lub prawa krajowego. Obszar ogranicza się do pkt 1 lit. a)–c); rozporządzenie nie zna szerszego reżimu dla biometrii. Słowo „biometria” na tej stronie oznacza te systemy. Pkt 1 lit. a) obejmuje systemy zdalnej identyfikacji biometrycznej. Nie obejmuje to systemów AI przeznaczonych do wykorzystania przy weryfikacji biometrycznej, której jedynym celem jest potwierdzenie, że określona osoba fizyczna jest osobą, za którą się podaje. Pkt 1 lit. b) obejmuje systemy AI przeznaczone do wykorzystania przy kategoryzacji biometrycznej, według wrażliwych lub chronionych atrybutów lub cech na podstawie wywnioskowania tych atrybutów lub cech. Pkt 1 lit. c) obejmuje systemy AI przeznaczone do wykorzystania przy rozpoznawaniu emocji. System zdalnej identyfikacji biometrycznej służy do identyfikacji osób fizycznych bez ich aktywnego udziału, zwykle na odległość, poprzez porównanie danych biometrycznych danej osoby z danymi biometrycznymi zawartymi w referencyjnej bazie danych (art. 3 pkt 41). Weryfikacja biometryczna to zautomatyzowana weryfikacja typu jeden-do-jednego, w tym uwierzytelnianie, tożsamości osób fizycznych przez porównanie ich danych biometrycznych z wcześniej przekazanymi danymi biometrycznymi (art. 3 pkt 36). System biometryczny, którego pkt 1 nie wymienia, jest systemem wysokiego ryzyka tylko wtedy, gdy obejmuje go inny punkt załącznika III lub załącznik I.

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty załącznik III pkt 1 jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Zgodnie z art. 6 ust. 3 nie jest nim, jeżeli nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych. Obejmuje to brak znaczącego wpływu na wynik procesu decyzyjnego. Wyjątek ten stosuje się, gdy spełniony jest którykolwiek z następujących warunków (art. 6 ust. 3 lit. a)–d)). System jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego. Albo jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka. Albo jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji. Nie ma on na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka bez odpowiedniej weryfikacji przez człowieka. Albo jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. To, jak te warunki łączą się z testem znaczącego ryzyka, jest pytaniem do prawnika. System zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych. Profilowanie definiuje art. 4 pkt 4 RODO (art. 3 pkt 52). To, czy dany system biometryczny go dokonuje, również jest pytaniem do prawnika. Dostawca, który powołuje się na wyjątek, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Musi też zarejestrować system (art. 6 ust. 4, art. 49 ust. 2). Niezależnie od tego pkt 1 lit. a) sam wyłącza systemy AI przeznaczone do wykorzystania przy weryfikacji biometrycznej, której jedynym celem jest potwierdzenie, że określona osoba fizyczna jest osobą, za którą się podaje.

• Dostawca i podmiot wdrażający

  Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Przedsiębiorstwo lub organ publiczny, który rozwija system biometryczny i oddaje go do użytku pod własną nazwą, jest więc dostawcą. Przedsiębiorstwo lub organ publiczny, który wykorzystuje system, nad którym sprawuje kontrolę, jest podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Podmiot wdrażający staje się dostawcą w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie wysokiego ryzyka już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących, że podział obowiązków następuje w inny sposób. Wprowadza istotną zmianę w takim systemie, po której pozostaje on systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1). Dostawcy, który pierwotnie wprowadził system do obrotu lub oddał go do użytku, nie uznaje się wtedy już za dostawcę tego konkretnego systemu i musi on ściśle współpracować z nowym dostawcą (art. 25 ust. 2). Nie dotyczy to sytuacji, gdy pierwotny dostawca wyraźnie określił, że jego system nie może zostać zmieniony w system AI wysokiego ryzyka.

• Podmioty wdrażające powierzają nadzór kompetentnym osobom

  Podmioty wdrażające powierzają nadzór ludzki osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie (art. 26 ust. 2). Pozostaje to bez uszczerbku dla innych obowiązków podmiotu wdrażającego wynikających z prawa Unii lub prawa krajowego oraz dla swobody podmiotu wdrażającego w organizowaniu własnych zasobów i działań na potrzeby wdrożenia środków nadzoru ludzkiego wskazanych przez dostawcę (art. 26 ust. 3). Rejestr systemu z pkt 1 lit. a) zapisuje osoby, które zweryfikowały wyniki (art. 12 ust. 3 lit. d)).

• Terminy

  Wymogi dla tych zastosowań z załącznika III stosuje się od 2 grudnia 2027 (art. 113 lit. c) ppkt (i)). System wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy po niej jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne muszą podjąć niezbędne kroki, aby spełnić wymogi do 2 sierpnia 2030 (art. 111 ust. 2). Ta zasada nie obejmuje systemów, o których mowa w art. 111 ust. 1.

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne ustanowione w tym państwie członkowskim można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Zakres rozporządzenia i jego granice

  Rozporządzenie stosuje się do dostawców i podmiotów wdrażających, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Rozporządzenia nie stosuje się do systemów AI lub modeli AI, w tym ich wyników, rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12). Nie stosuje się jej do systemów AI, o ile są one wprowadzane do obrotu, oddawane do użytku lub wykorzystywane, ze zmianami lub bez zmian, wyłącznie do celów wojskowych, obronnych lub bezpieczeństwa narodowego, niezależnie od rodzaju podmiotu prowadzącego te działania (art. 2 ust. 3). Nie stosuje się jej do organów publicznych w państwie trzecim ani do organizacji międzynarodowych objętych jej zakresem stosowania na podstawie art. 2 ust. 1, jeżeli wykorzystują one systemy AI w ramach współpracy międzynarodowej lub umów międzynarodowych w sprawie ścigania przestępstw i współpracy sądowej zawartych z Unią lub z jednym państwem członkowskim bądź ich większą liczbą, pod warunkiem zapewnienia przez to państwo trzecie lub organizację międzynarodową odpowiednich zabezpieczeń w odniesieniu do ochrony podstawowych praw i wolności osób fizycznych (art. 2 ust. 4). Nie stosuje się jej do obowiązków podmiotów wdrażających będących osobami fizycznymi, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej (art. 2 ust. 10). Prawo Unii w zakresie ochrony danych osobowych, prywatności i poufności komunikacji stosuje się do danych osobowych przetwarzanych w związku z prawami i obowiązkami ustanowionymi w rozporządzeniu. Bez uszczerbku dla art. 4a i art. 59 rozporządzenie nie ma wpływu na rozporządzenia (UE) 2016/679 i (UE) 2018/1725 ani na dyrektywy 2002/58/WE i (UE) 2016/680 (art. 2 ust. 7).

• Rozporządzenie nie wskazuje, jak dwie osoby weryfikują

  Art. 14 ust. 5 nie wskazuje procedury, narzędzia, terminu ani obsady dla odrębnej weryfikacji. Wymaga jedynie, aby co najmniej dwie osoby fizyczne mające wymagane kompetencje, przeszkolenie i uprawnienia odrębnie zweryfikowały i potwierdziły identyfikację. Samo rozporządzenie nie wskazuje żadnej normy. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1). Komisja ma opracować wytyczne dotyczące stosowania wymogów i obowiązków z art. 8–15, 25 i 26 (art. 96 ust. 1 lit. a)).

• Przykład: dwa niezależne porównania

  Przykład, a nie wymóg rozporządzenia: podmiot wdrażający mógłby polecić każdej z dwóch osób samodzielne porównanie trafienia z obrazem źródłowym, zanim któraś zobaczy decyzję drugiej, i zapisać obie decyzje.

• Przykład: trafienie przedstawione jako kandydat

  Przykład, a nie wymóg rozporządzenia: dostawca mógłby przedstawiać trafienie jako kandydata do weryfikacji, wraz z informacjami potrzebnymi do jego sprawdzenia, a nie jako potwierdzoną tożsamość. Wspiera to świadomość błędu automatyzacji opisaną w art. 14 ust. 4 lit. b).

• Artykuł 14 rozporządzenia AI: nadzór ze strony człowieka i przycisk stop

  Art. 14 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI biometria: zgodność

  Przegląd biometrii: co obejmuje rozporządzenie, co zakazuje i jakie są przepisy szczególne dla biometrii.

• Art. 15 w biometrii: dokładność, solidność i cyberbezpieczeństwo

  Biometryczna AI i art. 15: dokładność, solidność i cyberbezpieczeństwo.

• Artykuł 26: obowiązki podmiotu wdrażającego AI wysokiego ryzyka

  Art. 26 dla wszystkich sektorów: obowiązki podmiotów wdrażających, w tym powierzenie nadzoru ludzkiego z art. 26 ust. 2.