Art. 14 dla AI w edukacji: nadzór ze strony człowieka

Art. 14 nakłada obowiązki na dostawcę. Nie mówi, kto podejmuje ostateczną decyzję o ocenie lub przyjęciu.

• art. 14(1)
  Skuteczny nadzór ze strony osób fizycznych

  Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania mogły być skutecznie nadzorowane przez osoby fizyczne.

• art. 14(2)
  Cel: zapobiegać ryzyku lub je minimalizować

  Nadzór ze strony człowieka ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka, które może się pojawić, gdy system jest wykorzystywany zgodnie z przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, w szczególności gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów sekcji 2.

• art. 14(3)
  Środki współmierne do ryzyka, autonomii i kontekstu

  Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania systemu. Zapewnia się je za pomocą co najmniej jednego z dwóch rodzajów środków: a) środków określonych i wbudowanych w system przez dostawcę, jeżeli jest to technicznie wykonalne, przed wprowadzeniem systemu do obrotu lub oddaniem do użytku; b) środków określonych przez dostawcę przed wprowadzeniem systemu do obrotu lub oddaniem do użytku, które nadają się do wdrożenia przez podmiot wdrażający.

• art. 14(4)(a)–(c)
  Co muszą móc robić osoby, którym powierzono nadzór (1)

  System udostępnia się podmiotowi wdrażającemu w taki sposób, aby umożliwić osobom fizycznym, którym powierzono sprawowanie nadzoru, odpowiednio i proporcjonalnie: a) należyte zrozumienie odpowiednich możliwości i ograniczeń systemu oraz należyte monitorowanie jego działania, w tym w celu wykrywania anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzenia im; b) pozostawanie świadomym potencjalnej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku (tzw. „błąd automatyzacji”), w szczególności w przypadku systemów wykorzystywanych do udzielania informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne; c) prawidłową interpretację wyniku, biorąc pod uwagę na przykład dostępne narzędzia i metody interpretacji.

• art. 14(4)(d), (e)
  Co muszą móc robić osoby, którym powierzono nadzór (2)

  Muszą też mieć, odpowiednio i proporcjonalnie, możliwość: d) podjęcia decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu albo o zignorowaniu, unieważnieniu lub odwróceniu jego wyniku; e) ingerowania w działanie systemu lub przerwania go za pomocą przycisku „stop” lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.

Art. 14 dotyczy wyłącznie systemów AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy AI w edukacji staje się systemem wysokiego ryzyka i kto co robi.

• Rozporządzenie nie zawiera ogólnosektorowego reżimu dla edukacji

  Rozporządzenie nie zawiera ogólnosektorowego reżimu dla edukacji. Załącznik III pkt 3 to obszar wysokiego ryzyka zatytułowany „Kształcenie i szkolenie zawodowe”. Ta strona używa słowa „edukacja” dla AI, która podlega rozporządzeniu przez ten punkt. Pkt 3 wymienia cztery zastosowania. a) Systemy AI przeznaczone do wykorzystywania do celów podejmowania decyzji o dostępie lub przyjęciu do instytucji edukacyjnych i instytucji szkolenia zawodowego lub przydzielania osób do tych instytucji na wszystkich poziomach. b) Systemy AI przeznaczone do wykorzystywania do celów oceny efektów uczenia się, także w przypadku gdy efekty te są wykorzystywane do kierowania procesem uczenia się osób fizycznych. c) Systemy AI przeznaczone do wykorzystywania do celów oceny odpowiedniego poziomu wykształcenia, jaki dana osoba otrzyma lub do jakiego będzie mogła mieć dostęp. d) Systemy AI przeznaczone do wykorzystywania do celów monitorowania i wykrywania niedozwolonego zachowania uczniów podczas testów. Każde zastosowanie jest powiązane z instytucjami edukacyjnymi i instytucjami szkolenia zawodowego na wszystkich poziomach. Pkt 3 nie wymienia wykrywania plagiatu ani tekstu generowanego przez AI, przewidywania rezygnacji z nauki, pulpitów postępów w nauce, chatbotów administracyjnych ani adaptacyjnego uczenia się jako takich. System do jednego z tych zastosowań jest systemem wysokiego ryzyka tylko wtedy, gdy jego przeznaczenie odpowiada jednemu z czterech zastosowań albo gdy obejmuje go inny punkt załącznika III lub załącznik I.

• Wyciąganie wniosków o emocjach w instytucjach edukacyjnych: zakaz z wyjątkiem względów medycznych lub bezpieczeństwa

  Art. 5 ust. 1 lit. f) zakazuje wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych, z wyjątkiem przypadków, w których system AI ma zostać wdrożony lub wprowadzony do obrotu ze względów medycznych lub bezpieczeństwa. Zakaz stosuje się od 2 lutego 2025 (art. 113 lit. a)). To zakaz, a nie zastosowanie wysokiego ryzyka: wyjątek nie tworzy żadnego obowiązku i nie jest punktem odniesienia w załączniku III. Naruszenie podlega karze do 35 mln EUR lub, w przypadku przedsiębiorstwa, do 7 % jego całkowitego światowego obrotu rocznego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 3). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6).

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty pkt 3 jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Na zasadzie odstępstwa system z załącznika III nie jest systemem wysokiego ryzyka na podstawie art. 6 ust. 3, w przypadku gdy nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych, w tym poprzez brak znaczącego wpływu na wynik procesu decyzyjnego. Stosuje się to, gdy spełniony jest którykolwiek z czterech warunków: a) system jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego; b) jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka; c) jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji i nie ma na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka – bez odpowiedniej weryfikacji przez człowieka; lub d) jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. System z załącznika III zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych (art. 3 pkt 52, art. 4 pkt 4 RODO). Dostawca, który uważa, że jego system z załącznika III nie jest systemem wysokiego ryzyka, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku i rejestruje system (art. 6 ust. 4, art. 49 ust. 2). To, czy dany system edukacyjny dokonuje profilowania, jest pytaniem do prawnika.

• Dostawca i podmiot wdrażający

  Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Szkoła, uczelnia lub organ egzaminacyjny, które wykorzystują system, nad którym sprawują kontrolę, są podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Uczelnia, która rozwija system i oddaje go do użytku na własne potrzeby pod własną nazwą, jest więc dostawcą. Podmiot wdrażający staje się dostawcą systemu wysokiego ryzyka w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących inny podział obowiązków. Wprowadza istotną zmianę, po której system pozostaje systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1).

• Podmiot wdrażający: powierzenie i monitorowanie nadzoru

  Podmioty wdrażające powierzają sprawowanie nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie (art. 26 ust. 2). Obowiązki te pozostają bez uszczerbku dla innych obowiązków podmiotu wdrażającego wynikających z prawa Unii lub prawa krajowego oraz dla swobody podmiotu wdrażającego w organizowaniu własnych zasobów i działań w celu wdrożenia środków nadzoru wskazanych przez dostawcę (art. 26 ust. 3). Podmioty wdrażające monitorują działanie systemu w oparciu o instrukcję obsługi (art. 26 ust. 5). Dostawcy i podmioty wdrażające podejmują też środki, które wspierają rozwój kompetencji w zakresie AI wśród ich personelu i innych osób zajmujących się działaniem i wykorzystaniem systemów AI w ich imieniu (art. 4). Art. 14 ust. 5, czyli odrębna weryfikacja identyfikacji przez co najmniej dwie osoby fizyczne, dotyczy wyłącznie systemów, o których mowa w pkt 1 lit. a) załącznika III.

• Terminy

  Rozdział III sekcje 1–3, które obejmują art. 9–15, 17, 26 i 27, stosuje się do systemów AI zaklasyfikowanych jako systemy wysokiego ryzyka na podstawie art. 6 ust. 2 i załącznika III od 2 grudnia 2027 (art. 113 lit. c) ppkt (i)). System wysokiego ryzyka wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy od tej daty jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy systemów AI wysokiego ryzyka i podmioty wdrażające takie systemy, które są przeznaczone do wykorzystywania przez organy publiczne, podejmują niezbędne kroki w celu zapewnienia zgodności z wymogami i spełnienia obowiązków ustanowionych w rozporządzeniu do 2 sierpnia 2030 (art. 111 ust. 2). Rozporządzenie nie stanowi, czy dotyczy to również systemów wprowadzonych do obrotu lub oddanych do użytku po 2 grudnia 2027; jest to pytanie do prawnika.

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Systemy poza zakresem rozporządzenia

  Rozporządzenie stosuje się do dostawców wprowadzających do obrotu lub oddających do użytku systemy AI w Unii, niezależnie od tego, czy dostawcy ci mają siedzibę lub znajdują się w Unii czy w państwie trzecim, oraz do dostawców systemów AI i podmiotów stosujących systemy AI, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. a) i c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i w żadnym wypadku nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Nie stosuje się go do systemów AI, jeżeli – i w zakresie, w jakim – wprowadzono je do obrotu, oddano do użytku lub są one wykorzystywane, ze zmianami lub bez zmian, wyłącznie do celów wojskowych, obronnych lub do celów bezpieczeństwa narodowego, ani do systemów AI, które nie zostały wprowadzone do obrotu ani oddane do użytku w Unii, a których wyniki są wykorzystywane w Unii wyłącznie do takich celów (art. 2 ust. 3). Nie stosuje się go do systemów AI ani modeli AI, w tym ich wyników, specjalnie rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku; wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Nie stosuje się go do obowiązków podmiotów wdrażających będących osobami fizycznymi, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej (art. 2 ust. 10). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak zasady dotyczącej ostatecznej decyzji o ocenach lub przyjęciach

  Art. 14 nie mówi, że nauczyciel lub osoba odpowiedzialna za przyjęcia musi podjąć ostateczną decyzję, i nie zakazuje zautomatyzowanej oceny jako takiej. Wymaga, aby osoby fizyczne mogły nadzorować system oraz mogły zdecydować o niekorzystaniu z niego albo o zignorowaniu, unieważnieniu lub odwróceniu jego wyniku. Inne prawo Unii lub prawo krajowe może dodawać zasady dla podmiotów wdrażających (art. 26 ust. 3). Samo rozporządzenie nie wskazuje żadnej normy zharmonizowanej. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1).

• Przykład: nadzór nad systemem przyjęć

  Przykład, nie wymóg rozporządzenia: dostawca systemu szeregującego kandydatów mógłby wbudować widok pokazujący pracownikom czynniki, które złożyły się na pozycję w rankingu, oraz sposób odłożenia rankingu na bok. Wspierałoby to możliwości z art. 14 ust. 4 lit. c) i d).

• Przykład: nadzór nad systemem monitorowania testów

  Przykład, nie wymóg rozporządzenia: dostawca systemu wykrywającego niedozwolone zachowanie podczas testów mógłby przedstawiać alert jako sygnał do sprawdzenia przez osobę, a nie jako ustalenie. Odpowiadałoby to tendencji do polegania na wyniku (art. 14 ust. 4 lit. b)).

• Artykuł 14 rozporządzenia AI: nadzór ze strony człowieka i przycisk stop

  Art. 14 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI edtech: zgodność w edukacji

  Przegląd edukacji: jak rozporządzenie obejmuje AI do przyjęć, oceniania, oceny poziomu wykształcenia i monitorowania testów.

• Art. 9 dla AI w edukacji: system zarządzania ryzykiem

  AI w edukacji a art. 9: system zarządzania ryzykiem, w tym osoby poniżej 18 roku życia.

• Artykuł 26: obowiązki podmiotu wdrażającego AI wysokiego ryzyka

  Co muszą robić podmioty wdrażające systemy AI wysokiego ryzyka, w tym powierzać nadzór ze strony człowieka.