Art. 13 dla AI w edukacji: przejrzystość i informacje dla podmiotów wdrażających

Art. 13 nakłada obowiązki na dostawcę. Jego adresatem jest podmiot wdrażający, taki jak szkoła, uczelnia lub organ egzaminacyjny.

• art. 13(1)
  Przejrzystość wystarczająca do interpretacji wyników

  Systemy AI wysokiego ryzyka projektuje się i rozwija w sposób zapewniający wystarczającą przejrzystość ich działania, umożliwiającą podmiotom wdrażającym interpretację wyników systemu i ich właściwe wykorzystanie. Zapewnia się odpowiedni rodzaj i stopień przejrzystości w celu osiągnięcia spełnienia przez dostawcę i podmiot wdrażający odpowiednich obowiązków określonych w sekcji 3.

• art. 13(2)
  Instrukcja obsługi

  Do systemów AI wysokiego ryzyka dołącza się instrukcję obsługi w odpowiednim formacie cyfrowym lub innym. Zawiera ona zwięzłe, kompletne, poprawne i jasne informacje, które są istotne, dostępne i zrozumiałe dla podmiotów wdrażających.

• art. 13(3)(a)–(c)
  Tożsamość, skuteczność działania i ryzyka

  Instrukcja obsługi zawiera co najmniej: a) tożsamość i dane kontaktowe dostawcy oraz, w stosownych przypadkach, jego upoważnionego przedstawiciela; b) cechy, możliwości i ograniczenia skuteczności działania, w tym (i) przeznaczenie, (ii) poziom dokładności, wraz z jego wskaźnikami, poziom solidności i cyberbezpieczeństwa, o których mowa w art. 15, względem których przetestowano system i dokonano jego walidacji oraz których można oczekiwać, a także wszelkie znane i dające się przewidzieć okoliczności, które mogą mieć wpływ na te poziomy, oraz (iii) wszelkie znane lub dające się przewidzieć okoliczności wykorzystania, mogące powodować ryzyko dla zdrowia i bezpieczeństwa lub praw podstawowych, o którym mowa w art. 9 ust. 2; c) zmiany w systemie i jego skuteczności działania, które zostały z góry zaplanowane przez dostawcę w momencie przeprowadzania początkowej oceny zgodności, jeżeli takie były.

• art. 13(3)(b)(iv)–(vii)
  Elementy zależne od systemu

  Częścią lit. b) są też, na warunkach określonych w rozporządzeniu: (iv) w stosownych przypadkach, możliwości techniczne i właściwości systemu w zakresie udostępniania informacji istotnych dla wyjaśnienia jego wyników; (v) w stosownych przypadkach, działanie systemu w odniesieniu do określonych osób lub grup osób, wobec których ma on być wykorzystywany; (vi) w stosownych przypadkach, specyfikacje dotyczące danych wejściowych lub inne istotne informacje dotyczące wykorzystywanych zbiorów danych treningowych, walidacyjnych i testowych, uwzględniając przeznaczenie; (vii) w stosownych przypadkach, informacje umożliwiające podmiotom wdrażającym interpretację wyników i odpowiednie ich wykorzystanie.

• art. 13(3)(d)–(f)
  Nadzór, zasoby i rejestry zdarzeń

  Instrukcja zawiera też: d) środki nadzoru ze strony człowieka, o których mowa w art. 14, w tym środki techniczne wprowadzone w celu ułatwienia podmiotom wdrażającym interpretacji wyników; e) potrzebne zasoby obliczeniowe i sprzętowe, przewidywany cykl życia systemu oraz wszelkie niezbędne środki w zakresie konserwacji i utrzymania, w tym częstotliwość ich stosowania, także dotyczące aktualizacji oprogramowania; f) w stosownych przypadkach opis mechanizmów zawartych w systemie, które umożliwiają podmiotom wdrażającym prawidłowe zbieranie, przechowywanie i interpretowanie rejestrów zdarzeń zgodnie z art. 12.

Art. 13 dotyczy wyłącznie systemów AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy AI w edukacji staje się systemem wysokiego ryzyka i do kogo muszą dotrzeć informacje.

• Rozporządzenie nie zawiera ogólnosektorowego reżimu dla edukacji

  Rozporządzenie nie zawiera ogólnosektorowego reżimu dla edukacji. Załącznik III pkt 3 to obszar wysokiego ryzyka zatytułowany „Kształcenie i szkolenie zawodowe”. Ta strona używa słowa „edukacja” dla AI, która podlega rozporządzeniu przez ten punkt. Pkt 3 wymienia cztery zastosowania. a) Systemy AI przeznaczone do wykorzystywania do celów podejmowania decyzji o dostępie lub przyjęciu do instytucji edukacyjnych i instytucji szkolenia zawodowego lub przydzielania osób do tych instytucji na wszystkich poziomach. b) Systemy AI przeznaczone do wykorzystywania do celów oceny efektów uczenia się, także w przypadku gdy efekty te są wykorzystywane do kierowania procesem uczenia się osób fizycznych. c) Systemy AI przeznaczone do wykorzystywania do celów oceny odpowiedniego poziomu wykształcenia, jaki dana osoba otrzyma lub do jakiego będzie mogła mieć dostęp. d) Systemy AI przeznaczone do wykorzystywania do celów monitorowania i wykrywania niedozwolonego zachowania uczniów podczas testów. Każde zastosowanie jest powiązane z instytucjami edukacyjnymi i instytucjami szkolenia zawodowego na wszystkich poziomach. Pkt 3 nie wymienia wykrywania plagiatu ani tekstu generowanego przez AI, przewidywania rezygnacji z nauki, pulpitów postępów w nauce, chatbotów administracyjnych ani adaptacyjnego uczenia się jako takich. System do jednego z tych zastosowań jest systemem wysokiego ryzyka tylko wtedy, gdy jego przeznaczenie odpowiada jednemu z czterech zastosowań albo gdy obejmuje go inny punkt załącznika III lub załącznik I.

• Wyciąganie wniosków o emocjach w instytucjach edukacyjnych: zakaz z wyjątkiem względów medycznych lub bezpieczeństwa

  Art. 5 ust. 1 lit. f) zakazuje wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych, z wyjątkiem przypadków, w których system AI ma zostać wdrożony lub wprowadzony do obrotu ze względów medycznych lub bezpieczeństwa. Zakaz stosuje się od 2 lutego 2025 (art. 113 lit. a)). To zakaz, a nie zastosowanie wysokiego ryzyka: wyjątek nie tworzy żadnego obowiązku i nie jest punktem odniesienia w załączniku III. Naruszenie podlega karze do 35 mln EUR lub, w przypadku przedsiębiorstwa, do 7 % jego całkowitego światowego obrotu rocznego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 3). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6).

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty pkt 3 jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Na zasadzie odstępstwa system z załącznika III nie jest systemem wysokiego ryzyka na podstawie art. 6 ust. 3, w przypadku gdy nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych, w tym poprzez brak znaczącego wpływu na wynik procesu decyzyjnego. Stosuje się to, gdy spełniony jest którykolwiek z czterech warunków: a) system jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego; b) jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka; c) jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji i nie ma na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka – bez odpowiedniej weryfikacji przez człowieka; lub d) jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. System z załącznika III zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych (art. 3 pkt 52, art. 4 pkt 4 RODO). Dostawca, który uważa, że jego system z załącznika III nie jest systemem wysokiego ryzyka, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku i rejestruje system (art. 6 ust. 4, art. 49 ust. 2). To, czy dany system edukacyjny dokonuje profilowania, jest pytaniem do prawnika.

• Dostawca i podmiot wdrażający

  Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Szkoła, uczelnia lub organ egzaminacyjny, które wykorzystują system, nad którym sprawują kontrolę, są podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Uczelnia, która rozwija system i oddaje go do użytku na własne potrzeby pod własną nazwą, jest więc dostawcą. Podmiot wdrażający staje się dostawcą systemu wysokiego ryzyka w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących inny podział obowiązków. Wprowadza istotną zmianę, po której system pozostaje systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1).

• Informacje dla uczniów: art. 26 ust. 11 i art. 86, a nie art. 13

  Art. 13 nie wymaga powiadamiania uczniów ani rodziców. Zgodnie z art. 26 ust. 11, bez uszczerbku dla art. 50, podmioty wdrażające systemy wysokiego ryzyka, o których mowa w załączniku III, które podejmują decyzje lub uczestniczą w podejmowaniu decyzji dotyczących osób fizycznych, informują te osoby o tym, że jest w stosunku do nich wykorzystywany system AI wysokiego ryzyka. Art. 86 ust. 1 daje każdej osobie, na którą AI ma wpływ, będącej przedmiotem decyzji podjętej przez podmiot wdrażający na podstawie wyników systemu z załącznika III (z wyjątkiem pkt 2), która to decyzja wywołuje skutki prawne lub w podobny sposób oddziałuje na tę osobę na tyle znacząco, że uważa ona, iż ma to niepożądany wpływ na jej zdrowie, bezpieczeństwo lub prawa podstawowe, prawo uzyskania od podmiotu wdrażającego jasnego i merytorycznego wyjaśnienia roli systemu AI w procedurze podejmowania decyzji oraz głównych elementów podjętej decyzji. Art. 86 ust. 2 i 3 ustanawiają wyjątki. Art. 85 pozwala każdej osobie fizycznej lub prawnej mającej podstawy, by uznać, że naruszono przepisy rozporządzenia, wnieść skargę do organu nadzoru rynku.

• Terminy

  Rozdział III sekcje 1–3, które obejmują art. 9–15, 17, 26 i 27, stosuje się do systemów AI zaklasyfikowanych jako systemy wysokiego ryzyka na podstawie art. 6 ust. 2 i załącznika III od 2 grudnia 2027 (art. 113 lit. c) ppkt (i)). System wysokiego ryzyka wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy od tej daty jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy systemów AI wysokiego ryzyka i podmioty wdrażające takie systemy, które są przeznaczone do wykorzystywania przez organy publiczne, podejmują niezbędne kroki w celu zapewnienia zgodności z wymogami i spełnienia obowiązków ustanowionych w rozporządzeniu do 2 sierpnia 2030 (art. 111 ust. 2). Rozporządzenie nie stanowi, czy dotyczy to również systemów wprowadzonych do obrotu lub oddanych do użytku po 2 grudnia 2027; jest to pytanie do prawnika.

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Systemy poza zakresem rozporządzenia

  Rozporządzenie stosuje się do dostawców wprowadzających do obrotu lub oddających do użytku systemy AI w Unii, niezależnie od tego, czy dostawcy ci mają siedzibę lub znajdują się w Unii czy w państwie trzecim, oraz do dostawców systemów AI i podmiotów stosujących systemy AI, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. a) i c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i w żadnym wypadku nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Nie stosuje się go do systemów AI, jeżeli – i w zakresie, w jakim – wprowadzono je do obrotu, oddano do użytku lub są one wykorzystywane, ze zmianami lub bez zmian, wyłącznie do celów wojskowych, obronnych lub do celów bezpieczeństwa narodowego, ani do systemów AI, które nie zostały wprowadzone do obrotu ani oddane do użytku w Unii, a których wyniki są wykorzystywane w Unii wyłącznie do takich celów (art. 2 ust. 3). Nie stosuje się go do systemów AI ani modeli AI, w tym ich wyników, specjalnie rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku; wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Nie stosuje się go do obowiązków podmiotów wdrażających będących osobami fizycznymi, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej (art. 2 ust. 10). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak treści instrukcji specyficznych dla edukacji

  Art. 13 ust. 3 to ten sam wykaz dla każdego sektora. Rozporządzenie nie mówi, które grupy uczniów muszą obejmować informacje o skuteczności działania; mówi „w stosownych przypadkach” (art. 13 ust. 3 lit. b) ppkt (v)). Samo rozporządzenie nie wskazuje żadnej normy zharmonizowanej. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1). Komisja opracowuje wytyczne dotyczące stosowania art. 8–15, 25 i 26 (art. 96 ust. 1 lit. a)).

• Przykład: przeznaczenie w instrukcji obsługi

  Przykład, nie wymóg rozporządzenia: w przypadku systemu wspierającego pracowników przy szeregowaniu wniosków instrukcja mogłaby wskazać w przeznaczeniu, do czego ma służyć wynik, aby podmiot wdrażający mógł go właściwie wykorzystać (art. 13 ust. 3 lit. b) ppkt (i)).

• Przykład: znane okoliczności przy monitorowaniu testów

  Przykład, nie wymóg rozporządzenia: w przypadku systemu wykrywającego niedozwolone zachowanie podczas testów instrukcja mogłaby wskazać znane okoliczności, które mogą wpływać na dokładność, takie jak warunki, w których system przetestowano i dokonano jego walidacji (art. 13 ust. 3 lit. b) ppkt (ii)).

• Artykuł 13 rozporządzenia AI: przejrzystość i instrukcja obsługi

  Art. 13 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI edtech: zgodność w edukacji

  Przegląd edukacji: jak rozporządzenie obejmuje AI do przyjęć, oceniania, oceny poziomu wykształcenia i monitorowania testów.

• Art. 14 dla AI w edukacji: nadzór ze strony człowieka

  AI w edukacji a art. 14: nadzór ze strony człowieka w projekcie systemu.

• Artykuł 26: obowiązki podmiotu wdrażającego AI wysokiego ryzyka

  Co muszą robić podmioty wdrażające systemy AI wysokiego ryzyka, w tym informować osoby, na które AI ma wpływ.