Art. 9 dla AI w fintechu: system zarządzania ryzykiem

Art. 9 nakłada obowiązki na dostawcę. Nie ustala listy ryzyk, wartości wskaźnika ani progu, ani dla fintechu, ani dla żadnego innego sektora.

• art. 9(1)
  Ustanowić, wdrożyć, udokumentować i obsługiwać

  Dla systemów AI wysokiego ryzyka należy ustanowić, wdrożyć, udokumentować i obsługiwać system zarządzania ryzykiem.

• art. 9(2)
  Ciągły proces przez cały cykl życia

  System jest ciągłym, iteracyjnym procesem planowanym i realizowanym przez cały cykl życia, z regularnym systematycznym przeglądem i aktualizacją. Obejmuje cztery etapy. Po pierwsze: identyfikacja i analiza znanego i dającego się racjonalnie przewidzieć ryzyka dla zdrowia, bezpieczeństwa lub praw podstawowych, gdy system jest stosowany zgodnie z przeznaczeniem. Po drugie: oszacowanie i ocena ryzyka przy wykorzystaniu zgodnym z przeznaczeniem i w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania. Po trzecie: ocena innego ryzyka na podstawie danych z monitorowania po wprowadzeniu do obrotu (art. 72). Po czwarte: przyjęcie odpowiednich i ukierunkowanych środków zarządzania ryzykiem.

• art. 9(3)
  Tylko ryzyko, któremu mogą zaradzić projekt lub informacje

  Dotyczy to ryzyka, które można stosownie ograniczyć lub wyeliminować poprzez rozwój lub zaprojektowanie systemu albo poprzez zapewnienie odpowiednich informacji technicznych.

• art. 9(5)
  Ryzyko szczątkowe musi być oceniane jako dopuszczalne

  Odpowiednie ryzyko szczątkowe związane z każdym zagrożeniem oraz ogólne ryzyko szczątkowe muszą być oceniane jako dopuszczalne. Ryzyko eliminuje się lub ogranicza poprzez projekt i rozwój w zakresie, w jakim jest to technicznie wykonalne. W stosownych przypadkach ryzyka, którego nie można wyeliminować, dotyczą odpowiednie środki ograniczające i kontrolne. Podmioty wdrażające otrzymują informacje wymagane na podstawie art. 13 oraz, w stosownych przypadkach, przeszkolenie.

• art. 9(6)–(8)
  Testy względem wskaźników określonych z góry

  Systemy AI wysokiego ryzyka testuje się, aby określić najodpowiedniejsze środki zarządzania ryzykiem. Testy mają zapewnić, że systemy działają konsekwentnie zgodnie z przeznaczeniem i spełniają wymogi sekcji 2. Przeprowadza się je, w stosownych przypadkach, w trakcie rozwoju, a w każdym przypadku przed wprowadzeniem systemu do obrotu lub oddaniem do użytku. Testy przeprowadza się w odniesieniu do uprzednio określonych wskaźników i progów probabilistycznych, stosownych ze względu na przeznaczenie. Procedury testowe mogą obejmować testy w warunkach rzeczywistych (art. 60).

• art. 9(9)
  Osoby poniżej 18 roku życia i inne grupy szczególnie wrażliwe

  Dostawcy muszą rozważyć, czy w świetle przeznaczenia system może mieć niekorzystny wpływ na osoby poniżej 18 roku życia oraz, w stosownych przypadkach, na inne grupy szczególnie wrażliwe.

Art. 9 dotyczy wyłącznie systemów AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy AI w fintechu staje się systemem wysokiego ryzyka.

• Fintech nie jest kategorią w rozporządzeniu

  Rozporządzenie nie zna kategorii „fintech”. Ta strona używa tego słowa dla AI, która podlega rozporządzeniu przez dwa zastosowania z załącznika III pkt 5. Pkt 5 lit. b) obejmuje systemy AI przeznaczone do wykorzystywania do celów oceny zdolności kredytowej osób fizycznych lub ustalenia ich scoringu kredytowego. Przewiduje wyjątek dla systemów AI wykorzystywanych w celu wykrywania oszustw finansowych. Pkt 5 lit. c) obejmuje systemy AI przeznaczone do wykorzystywania przy ocenie ryzyka i ustalaniu cen w odniesieniu do osób fizycznych w przypadku ubezpieczenia na życie i ubezpieczenia zdrowotnego. Pkt 5 nie wymienia wykrywania oszustw ani kontroli w zakresie przeciwdziałania praniu pieniędzy czy „poznaj swojego klienta”. Nie wymienia też handlu algorytmicznego, robodoradztwa, ubezpieczeń innych niż na życie, likwidacji szkód ani decyzji kredytowych dotyczących osób prawnych. System do jednego z tych zastosowań jest systemem wysokiego ryzyka tylko wtedy, gdy obejmuje go inny punkt załącznika III lub załącznik I.

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty pkt 5 lit. b) lub pkt 5 lit. c) jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Zgodnie z art. 6 ust. 3 nie jest nim, jeżeli nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych. Obejmuje to brak znaczącego wpływu na wynik procesu decyzyjnego. Wyjątek ten stosuje się, gdy spełniony jest którykolwiek z następujących warunków (art. 6 ust. 3 lit. a)–d)). System jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego. Albo jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka. Albo jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji. Nie ma on na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka bez odpowiedniej weryfikacji przez człowieka. Albo jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. To, jak te warunki łączą się z testem znaczącego ryzyka, jest pytaniem do prawnika. System zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych. Profilowanie definiuje art. 4 pkt 4 RODO (art. 3 pkt 52). To, czy dany system scoringu lub ustalania cen go dokonuje, również jest pytaniem do prawnika. Dostawca, który powołuje się na wyjątek, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Musi też zarejestrować system (art. 6 ust. 4, art. 49 ust. 2).

• Dostawca i podmiot wdrażający

  Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Bank lub ubezpieczyciel, który rozwija system i oddaje go do użytku pod własną nazwą, jest więc dostawcą. Bank lub ubezpieczyciel, który wykorzystuje system, nad którym sprawuje kontrolę, jest podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Podmiot wdrażający staje się dostawcą w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie wysokiego ryzyka już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących, że podział obowiązków następuje w inny sposób. Wprowadza istotną zmianę w takim systemie, po której pozostaje on systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1). Dostawcy, który pierwotnie wprowadził system do obrotu lub oddał go do użytku, nie uznaje się wtedy już za dostawcę tego konkretnego systemu i musi on ściśle współpracować z nowym dostawcą (art. 25 ust. 2). Nie dotyczy to sytuacji, gdy pierwotny dostawca wyraźnie określił, że jego system nie może zostać zmieniony w system AI wysokiego ryzyka.

• Instytucje finansowe: co mogą łączyć

  Niektórzy dostawcy podlegają wymogom dotyczącym wewnętrznych procesów zarządzania ryzykiem na podstawie innego odpowiedniego prawa Unii. W ich przypadku aspekty z art. 9 ust. 1–9 mogą być częścią procedur zarządzania ryzykiem ustanowionych zgodnie z tym prawem lub łączyć się z tymi procedurami (art. 9 ust. 10). Dla dostawców będących instytucjami finansowymi podlegającymi wymogom dotyczącym zarządzania wewnętrznego z prawa Unii dotyczącego usług finansowych obowiązek wprowadzenia systemu zarządzania jakością uznaje się za spełniony przez zgodność z tymi przepisami. Wyjątkiem są system zarządzania ryzykiem, monitorowanie po wprowadzeniu do obrotu i zgłaszanie poważnych incydentów (art. 17 ust. 4, z odesłaniem do art. 17 ust. 1 lit. g), h) i i)). Rozporządzenie nie wskazuje żadnego konkretnego prawa dotyczącego usług finansowych.

• Terminy

  Wymogi dla tych zastosowań z załącznika III stosuje się od 2 grudnia 2027 (art. 113 akapit trzeci lit. c) ppkt (i)). System wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy po niej jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne muszą podjąć niezbędne kroki, aby spełnić wymogi do 2 sierpnia 2030 (art. 111 ust. 2).

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne ustanowione w tym państwie członkowskim można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Zakres rozporządzenia i jego granice

  Rozporządzenie stosuje się do dostawców i podmiotów wdrażających, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Rozporządzenia nie stosuje się do systemów AI lub modeli AI, w tym ich wyników, specjalnie rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak listy ryzyk i wartości testowych dla fintechu

  Art. 9 nie wskazuje ryzyk, wskaźników ani wartości progowych dla scoringu kredytowego ani ustalania cen ubezpieczeń. Dostawca sam identyfikuje ryzyka swojego systemu i ustala wskaźniki oraz progi odpowiednie do jego przeznaczenia (art. 9 ust. 2 i 8). Samo rozporządzenie nie wskazuje żadnej normy zharmonizowanej. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1). Komisja ma opracować wytyczne dotyczące praktycznego stosowania wymogów i obowiązków z art. 8–15, 25 i 26 (art. 96 ust. 1 lit. a)).

• Przykład: ryzyka systemu scoringu kredytowego

  Przykład, a nie wymóg rozporządzenia: dostawca systemu scoringu kredytowego mógłby wpisać na listę ryzyko, że wnioskodawcy z jednej grupy są systematycznie oceniani niżej. Mógłby przetestować to ryzyko względem wskaźnika ustalonego przed testem i zapisać wynik.

• Przykład: ryzyka przy ustalaniu cen ubezpieczeń

  Przykład, a nie wymóg rozporządzenia: dostawca systemu do ustalania cen ubezpieczeń mógłby zapytać, czy jego ceny stawiają w gorszej sytuacji grupy szczególnie wrażliwe (art. 9 ust. 9). Następnie mógłby zdecydować, jaka zmiana projektu lub jaka instrukcja obsługi ograniczyłaby to ryzyko.

• Artykuł 9: system zarządzania ryzykiem dla AI wysokiego ryzyka

  Art. 9 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI fintech: zgodność

  Przegląd fintechu: jak rozporządzenie obejmuje AI do scoringu kredytowego i ubezpieczeń.

• Art. 10 dla AI w fintechu: dane i zarządzanie danymi

  AI w fintechu a art. 10: zbiory danych, badanie stronniczości i szczególne kategorie danych osobowych.

• Artykuł 6: klasyfikacja systemów AI wysokiego ryzyka

  Jak art. 6 klasyfikuje systemy AI wysokiego ryzyka, w tym wyjątek z art. 6 ust. 3.