Art. 14 dla AI w fintechu: nadzór ze strony człowieka

Art. 14 nakłada na dostawcę obowiązki projektowe. Nie zawiera zasady, że człowiek musi sprawdzać każdą indywidualną decyzję.

• art. 14(1)
  Skuteczny nadzór ze strony osób fizycznych

  Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania mogły być skutecznie nadzorowane przez osoby fizyczne.

• art. 14(2)
  Cel: zapobiegać ryzyku lub je minimalizować

  Nadzór ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka. Chodzi o ryzyko, które może się pojawić, gdy system jest wykorzystywany zgodnie z przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania. Dotyczy to w szczególności sytuacji, gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów.

• art. 14(3)
  Środki współmierne do ryzyka, autonomii i kontekstu

  Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania. Zapewnia się je za pomocą środków wbudowanych w system przez dostawcę, jeżeli jest to technicznie wykonalne, albo środków określonych przez dostawcę jako nadające się do wdrożenia przez podmiot wdrażający. Możliwe jest też połączenie obu rodzajów środków.

• art. 14(4)(a)–(c)
  Rozumieć, monitorować i interpretować

  System udostępnia się tak, aby osoby, którym powierzono nadzór, mogły odpowiednio i proporcjonalnie należycie rozumieć jego możliwości i ograniczenia oraz monitorować jego działanie. Obejmuje to wykrywanie anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzanie im. Osoby te muszą też mieć możliwość pozostawania świadomymi tendencji do automatycznego polegania lub nadmiernego polegania na wyniku (tzw. „błąd automatyzacji”), w szczególności w przypadku systemów, które udzielają informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne. Muszą też mieć możliwość prawidłowej interpretacji wyniku.

• art. 14(4)(d), (e)
  Decyzja o niekorzystaniu, unieważnienie, odwrócenie lub zatrzymanie

  Osoby, którym powierzono nadzór, muszą mieć możliwość podjęcia decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu albo o zignorowaniu, unieważnieniu lub odwróceniu jego wyniku. Muszą też mieć możliwość ingerowania w jego działanie lub przerwania go za pomocą przycisku „stop” lub podobnej procedury. Procedura ta musi pozwalać na zatrzymanie systemu w stanie bezpiecznym.

Art. 14 dotyczy wyłącznie systemów AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy AI w fintechu staje się systemem wysokiego ryzyka.

• Fintech nie jest kategorią w rozporządzeniu

  Rozporządzenie nie zna kategorii „fintech”. Ta strona używa tego słowa dla AI, która podlega rozporządzeniu przez dwa zastosowania z załącznika III pkt 5. Pkt 5 lit. b) obejmuje systemy AI przeznaczone do wykorzystywania do celów oceny zdolności kredytowej osób fizycznych lub ustalenia ich scoringu kredytowego. Przewiduje wyjątek dla systemów AI wykorzystywanych w celu wykrywania oszustw finansowych. Pkt 5 lit. c) obejmuje systemy AI przeznaczone do wykorzystywania przy ocenie ryzyka i ustalaniu cen w odniesieniu do osób fizycznych w przypadku ubezpieczenia na życie i ubezpieczenia zdrowotnego. Pkt 5 nie wymienia wykrywania oszustw ani kontroli w zakresie przeciwdziałania praniu pieniędzy czy „poznaj swojego klienta”. Nie wymienia też handlu algorytmicznego, robodoradztwa, ubezpieczeń innych niż na życie, likwidacji szkód ani decyzji kredytowych dotyczących osób prawnych. System do jednego z tych zastosowań jest systemem wysokiego ryzyka tylko wtedy, gdy obejmuje go inny punkt załącznika III lub załącznik I.

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty pkt 5 lit. b) lub pkt 5 lit. c) jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Zgodnie z art. 6 ust. 3 nie jest nim, jeżeli nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych. Obejmuje to brak znaczącego wpływu na wynik procesu decyzyjnego. Wyjątek ten stosuje się, gdy spełniony jest którykolwiek z następujących warunków (art. 6 ust. 3 lit. a)–d)). System jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego. Albo jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka. Albo jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji. Nie ma on na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka bez odpowiedniej weryfikacji przez człowieka. Albo jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. To, jak te warunki łączą się z testem znaczącego ryzyka, jest pytaniem do prawnika. System zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych. Profilowanie definiuje art. 4 pkt 4 RODO (art. 3 pkt 52). To, czy dany system scoringu lub ustalania cen go dokonuje, również jest pytaniem do prawnika. Dostawca, który powołuje się na wyjątek, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Musi też zarejestrować system (art. 6 ust. 4, art. 49 ust. 2).

• Dostawca i podmiot wdrażający

  Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Bank lub ubezpieczyciel, który rozwija system i oddaje go do użytku pod własną nazwą, jest więc dostawcą. Bank lub ubezpieczyciel, który wykorzystuje system, nad którym sprawuje kontrolę, jest podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Podmiot wdrażający staje się dostawcą w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie wysokiego ryzyka już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących, że podział obowiązków następuje w inny sposób. Wprowadza istotną zmianę w takim systemie, po której pozostaje on systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1). Dostawcy, który pierwotnie wprowadził system do obrotu lub oddał go do użytku, nie uznaje się wtedy już za dostawcę tego konkretnego systemu i musi on ściśle współpracować z nowym dostawcą (art. 25 ust. 2). Nie dotyczy to sytuacji, gdy pierwotny dostawca wyraźnie określił, że jego system nie może zostać zmieniony w system AI wysokiego ryzyka.

• Podmiot wdrażający powierza nadzór kompetentnym osobom

  Podmioty wdrażające muszą powierzyć sprawowanie nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie (art. 26 ust. 2). Obowiązki z ust. 1 i 2 nie naruszają innych obowiązków podmiotów wdrażających wynikających z prawa Unii lub prawa krajowego ani swobody podmiotu wdrażającego w organizowaniu własnych zasobów i działań w celu wdrożenia środków nadzoru ze strony człowieka wskazanych przez dostawcę (art. 26 ust. 3).

• Terminy

  Wymogi dla tych zastosowań z załącznika III stosuje się od 2 grudnia 2027 (art. 113 akapit trzeci lit. c) ppkt (i)). System wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy po niej jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne muszą podjąć niezbędne kroki, aby spełnić wymogi do 2 sierpnia 2030 (art. 111 ust. 2).

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne ustanowione w tym państwie członkowskim można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Zakres rozporządzenia i jego granice

  Rozporządzenie stosuje się do dostawców i podmiotów wdrażających, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Rozporządzenia nie stosuje się do systemów AI lub modeli AI, w tym ich wyników, specjalnie rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak zasady kontroli przez człowieka w przypadku odmów

  Rozporządzenie nie zawiera zasady, że człowiek musi sprawdzać każdą decyzję kredytową lub ubezpieczeniową ani każdą odmowę. Art. 14 wymaga, aby system mógł być skutecznie nadzorowany za pomocą środków z art. 14 ust. 3. Inne prawo Unii, takie jak RODO, może dodawać zasady dotyczące zautomatyzowanych decyzji; należy je sprawdzić osobno. Samo rozporządzenie nie wskazuje żadnej normy zharmonizowanej. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1). Komisja ma opracować wytyczne dotyczące praktycznego stosowania wymogów i obowiązków z art. 8–15, 25 i 26 (art. 96 ust. 1 lit. a)).

• Przykład: pokazanie osobie nadzorującej głównych czynników

  Przykład, a nie wymóg rozporządzenia: dostawca systemu scoringu kredytowego mógłby pokazywać osobie nadzorującej główne czynniki, które złożyły się na wynik. Mógłby też udostępnić sposób skierowania sprawy do oceny ręcznej.

• Przykład: obserwowanie nadmiernego polegania na systemie

  Przykład, a nie wymóg rozporządzenia: podmiot wdrażający mógłby śledzić, jak często pracownicy zmieniają zalecenie systemu, aby zobaczyć, czy polegają na nim automatycznie (błąd automatyzacji, art. 14 ust. 4 lit. b)).

• Artykuł 14 rozporządzenia AI: nadzór ze strony człowieka i przycisk stop

  Art. 14 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI fintech: zgodność

  Przegląd fintechu: jak rozporządzenie obejmuje AI do scoringu kredytowego i ubezpieczeń.

• Art. 9 dla AI w fintechu: system zarządzania ryzykiem

  AI w fintechu a art. 9: system zarządzania ryzykiem.

• Artykuł 26: obowiązki podmiotu wdrażającego AI wysokiego ryzyka

  Art. 26 dla wszystkich sektorów, w tym powierzenie nadzoru ze strony człowieka w art. 26 ust. 2.