Art. 10 dla AI w fintechu: dane i zarządzanie danymi

Art. 10 nakłada obowiązki na dostawcę. Nie wskazuje ilości danych, wartości dokładności ani okresu przechowywania.

• art. 10(1), (6)
  Zbiory danych spełniające kryteria jakości

  Systemy AI wysokiego ryzyka, które wykorzystują techniki obejmujące trenowanie modeli AI z wykorzystaniem danych, rozwija się na podstawie zbiorów danych treningowych, walidacyjnych i testowych. Zbiory te muszą spełniać kryteria jakości z ust. 2, 3 i 4 oraz z art. 4a ust. 1, w każdym przypadku gdy takie zbiory są wykorzystywane. W przypadku systemów, które nie trenują modeli, przepisy te stosuje się wyłącznie do zbiorów danych testowych.

• art. 10(2)
  Praktyki w zakresie zarządzania danymi

  Zbiory danych podlegają praktykom w zakresie zarządzania danymi stosownym do przeznaczenia. Praktyki te dotyczą w szczególności decyzji projektowych, procesów zbierania danych i pochodzenia danych oraz, w przypadku danych osobowych, pierwotnego celu zbierania. Dotyczą też operacji przygotowania danych, takich jak dodawanie komentarzy, etykietowanie, czyszczenie, aktualizacja, wzbogacanie i agregacja. Dotyczą założeń co do tego, co dane mierzą i reprezentują. Dotyczą wreszcie dostępności, ilości i przydatności potrzebnych zbiorów danych oraz luk lub braków w danych i sposobu zaradzenia im.

• art. 10(2)(f), (g)
  Zbadać stronniczość, następnie ją wykrywać, jej zapobiegać i ją ograniczać

  Praktyki muszą obejmować badanie pod kątem ewentualnej stronniczości (lit. f)). Dotyczy ono stronniczości, która może mieć wpływ na zdrowie i bezpieczeństwo osób, negatywnie wpływać na prawa podstawowe lub prowadzić do dyskryminacji zakazanej prawem Unii. Dotyczy to zwłaszcza sytuacji, gdy dane wyjściowe wpływają na dane wejściowe wykorzystywane w przyszłych operacjach. Praktyki muszą obejmować też odpowiednie środki służące wykrywaniu zidentyfikowanej stronniczości oraz zapobieganiu jej i jej ograniczaniu (lit. g)).

• art. 10(3)
  Adekwatne, reprezentatywne, w miarę możliwości wolne od błędów

  Zbiory danych muszą być adekwatne, wystarczająco reprezentatywne oraz w jak największym stopniu wolne od błędów i kompletne z punktu widzenia przeznaczenia. Muszą mieć odpowiednie właściwości statystyczne, w tym, w stosownych przypadkach, w odniesieniu do osób lub grup osób, wobec których system ma być stosowany. Kryteria te mogą być spełnione na poziomie pojedynczych zbiorów danych lub ich kombinacji.

• art. 10(4)
  Dopasowanie do otoczenia wykorzystania

  Zbiory danych muszą uwzględniać cechy lub elementy specyficzne dla określonego otoczenia geograficznego, kontekstualnego, behawioralnego lub funkcjonalnego, w którym system ma być wykorzystywany. Dotyczy to zakresu wymaganego z uwagi na przeznaczenie.

Art. 10 dotyczy wyłącznie systemów AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy AI w fintechu staje się systemem wysokiego ryzyka.

• Fintech nie jest kategorią w rozporządzeniu

  Rozporządzenie nie zna kategorii „fintech”. Ta strona używa tego słowa dla AI, która podlega rozporządzeniu przez dwa zastosowania z załącznika III pkt 5. Pkt 5 lit. b) obejmuje systemy AI przeznaczone do wykorzystywania do celów oceny zdolności kredytowej osób fizycznych lub ustalenia ich scoringu kredytowego. Przewiduje wyjątek dla systemów AI wykorzystywanych w celu wykrywania oszustw finansowych. Pkt 5 lit. c) obejmuje systemy AI przeznaczone do wykorzystywania przy ocenie ryzyka i ustalaniu cen w odniesieniu do osób fizycznych w przypadku ubezpieczenia na życie i ubezpieczenia zdrowotnego. Pkt 5 nie wymienia wykrywania oszustw ani kontroli w zakresie przeciwdziałania praniu pieniędzy czy „poznaj swojego klienta”. Nie wymienia też handlu algorytmicznego, robodoradztwa, ubezpieczeń innych niż na życie, likwidacji szkód ani decyzji kredytowych dotyczących osób prawnych. System do jednego z tych zastosowań jest systemem wysokiego ryzyka tylko wtedy, gdy obejmuje go inny punkt załącznika III lub załącznik I.

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty pkt 5 lit. b) lub pkt 5 lit. c) jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Zgodnie z art. 6 ust. 3 nie jest nim, jeżeli nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych. Obejmuje to brak znaczącego wpływu na wynik procesu decyzyjnego. Wyjątek ten stosuje się, gdy spełniony jest którykolwiek z następujących warunków (art. 6 ust. 3 lit. a)–d)). System jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego. Albo jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka. Albo jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji. Nie ma on na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka bez odpowiedniej weryfikacji przez człowieka. Albo jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. To, jak te warunki łączą się z testem znaczącego ryzyka, jest pytaniem do prawnika. System zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych. Profilowanie definiuje art. 4 pkt 4 RODO (art. 3 pkt 52). To, czy dany system scoringu lub ustalania cen go dokonuje, również jest pytaniem do prawnika. Dostawca, który powołuje się na wyjątek, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Musi też zarejestrować system (art. 6 ust. 4, art. 49 ust. 2).

• Dostawca i podmiot wdrażający

  Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Bank lub ubezpieczyciel, który rozwija system i oddaje go do użytku pod własną nazwą, jest więc dostawcą. Bank lub ubezpieczyciel, który wykorzystuje system, nad którym sprawuje kontrolę, jest podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Podmiot wdrażający staje się dostawcą w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie wysokiego ryzyka już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących, że podział obowiązków następuje w inny sposób. Wprowadza istotną zmianę w takim systemie, po której pozostaje on systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1). Dostawcy, który pierwotnie wprowadził system do obrotu lub oddał go do użytku, nie uznaje się wtedy już za dostawcę tego konkretnego systemu i musi on ściśle współpracować z nowym dostawcą (art. 25 ust. 2). Nie dotyczy to sytuacji, gdy pierwotny dostawca wyraźnie określił, że jego system nie może zostać zmieniony w system AI wysokiego ryzyka.

• Szczególne kategorie danych osobowych: art. 4a

  Obok RODO i innych mających zastosowanie przepisów o ochronie danych dostawcy systemów AI wysokiego ryzyka mogą w wyjątkowych przypadkach przetwarzać szczególne kategorie danych osobowych. Jest to dozwolone w zakresie, w jakim jest to absolutnie niezbędne do wykrywania i korygowania stronniczości na podstawie art. 10 ust. 2 lit. f) i g). Muszą być spełnione wszystkie warunki z art. 4a ust. 1 lit. a)–f). Obejmują one to, że skutecznego wykrywania i korygowania stronniczości nie da się osiągnąć przez przetwarzanie innych danych, takich jak dane syntetyczne lub zanonimizowane. Obejmują też to, że dane usuwa się po skorygowaniu stronniczości lub po upływie okresu przechowywania, w zależności od tego, co nastąpi wcześniej. Art. 4a ust. 2 daje to samo uprawnienie, na tych samych warunkach, dostawcom i podmiotom wdrażającym inne systemy AI oraz podmiotom wdrażającym systemy wysokiego ryzyka. Nie tworzy on żadnego obowiązku wykrywania i korygowania stronniczości.

• Terminy

  Wymogi dla tych zastosowań z załącznika III stosuje się od 2 grudnia 2027 (art. 113 akapit trzeci lit. c) ppkt (i)). System wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy po niej jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne muszą podjąć niezbędne kroki, aby spełnić wymogi do 2 sierpnia 2030 (art. 111 ust. 2).

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne ustanowione w tym państwie członkowskim można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Zakres rozporządzenia i jego granice

  Rozporządzenie stosuje się do dostawców i podmiotów wdrażających, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Rozporządzenia nie stosuje się do systemów AI lub modeli AI, w tym ich wyników, specjalnie rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak standardu danych dla fintechu

  Art. 10 nie wskazuje minimalnej wielkości zbioru danych, miary reprezentatywności, wskaźnika stronniczości ani zaakceptowanego źródła danych dla udzielania kredytów ani ubezpieczeń. Dostawca decyduje, co jest odpowiednie ze względu na przeznaczenie (art. 10 ust. 2). Samo rozporządzenie nie wskazuje żadnej normy zharmonizowanej. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1). Dla systemów wytrenowanych i przetestowanych na danych odzwierciedlających określone otoczenie geograficzne, behawioralne, kontekstualne lub funkcjonalne, do którego są przeznaczone, domniemuje się zgodność z art. 10 ust. 4 (art. 42 ust. 1). Komisja ma opracować wytyczne dotyczące praktycznego stosowania wymogów i obowiązków z art. 8–15, 25 i 26 (art. 96 ust. 1 lit. a)).

• Przykład: badanie stronniczości przy scoringu kredytowym

  Przykład, a nie wymóg rozporządzenia: dostawca systemu scoringu kredytowego mógłby porównać w zbiorze danych wskaźniki akceptacji i wskaźniki błędów w poszczególnych grupach wnioskodawców. Mógłby udokumentować, które grupy są w danych niedoreprezentowane.

• Przykład: dawne decyzje jako etykiety treningowe

  Przykład, a nie wymóg rozporządzenia: model może być trenowany na dawnych decyzjach o udzieleniu kredytu lub o przyjęciu do ubezpieczenia. Dostawca mógłby przed treningiem zbadać, czy te decyzje niosą stronniczość, ponieważ art. 10 ust. 2 lit. f) wymaga badania pod kątem ewentualnej stronniczości.

• Artykuł 10: zarządzanie danymi dla AI wysokiego ryzyka

  Art. 10 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI fintech: zgodność

  Przegląd fintechu: jak rozporządzenie obejmuje AI do scoringu kredytowego i ubezpieczeń.

• Art. 12 dla AI w fintechu: rejestrowanie zdarzeń i rejestry

  AI w fintechu a art. 12: automatyczne rejestrowanie zdarzeń i to, kto przechowuje rejestry.

• Rozporządzenie AI vs RODO: różnice i pokrywanie się

  Jak nakładają się rozporządzenie w sprawie AI i RODO.