Rozporządzenie AI edtech: zgodność w edukacji

Rozporządzenie nie zawiera ogólnosektorowego reżimu dla edukacji. Ta strona używa słowa „edukacja” dla AI, która podlega rozporządzeniu przez załącznik III pkt 3, zatytułowany „Kształcenie i szkolenie zawodowe”, oraz przez poniższe przepisy.

• Dostęp i przyjęcie: załącznik III pkt 3 lit. a)

  Systemy AI przeznaczone do wykorzystywania do celów podejmowania decyzji o dostępie lub przyjęciu do instytucji edukacyjnych i instytucji szkolenia zawodowego lub przydzielania osób fizycznych do tych instytucji na wszystkich poziomach są systemami wysokiego ryzyka.

• Efekty uczenia się: załącznik III pkt 3 lit. b)

  Systemy AI przeznaczone do wykorzystywania do celów oceny efektów uczenia się, także w przypadku gdy efekty te są wykorzystywane do kierowania procesem uczenia się osób fizycznych, są systemami wysokiego ryzyka.

• Poziom wykształcenia: załącznik III pkt 3 lit. c)

  Systemy AI przeznaczone do wykorzystywania do celów oceny odpowiedniego poziomu wykształcenia, jaki dana osoba otrzyma lub do jakiego będzie mogła mieć dostęp, są systemami wysokiego ryzyka.

• Monitorowanie podczas testów: załącznik III pkt 3 lit. d)

  Systemy AI przeznaczone do wykorzystywania do celów monitorowania i wykrywania niedozwolonego zachowania uczniów podczas testów są systemami wysokiego ryzyka. Każde z czterech zastosowań jest powiązane z instytucjami edukacyjnymi i instytucjami szkolenia zawodowego na wszystkich poziomach. Pkt 3 lit. d) wymienia testy.

• Zastosowania, których pkt 3 nie wymienia

  Pkt 3 nie wymienia wykrywania plagiatu ani tekstu generowanego przez AI, przewidywania rezygnacji z nauki, pulpitów postępów w nauce, chatbotów administracyjnych ani adaptacyjnego uczenia się jako takich. System do jednego z tych zastosowań jest systemem wysokiego ryzyka tylko wtedy, gdy jego przeznaczenie odpowiada jednemu z pkt 3 lit. a)–d) albo gdy obejmuje go inny punkt załącznika III lub załącznika I.

• Art. 6 ust. 3 może wyłączyć system z załącznika III

  System objęty pkt 3 jest systemem wysokiego ryzyka na podstawie art. 6 ust. 2. Na zasadzie odstępstwa system z załącznika III nie jest systemem wysokiego ryzyka na podstawie art. 6 ust. 3, w przypadku gdy nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych, w tym poprzez brak znaczącego wpływu na wynik procesu decyzyjnego. Stosuje się to, gdy spełniony jest którykolwiek z czterech warunków: a) system jest przeznaczony do wykonywania wąsko określonego zadania proceduralnego; b) jest przeznaczony do poprawienia wyniku zakończonej uprzednio czynności wykonywanej przez człowieka; c) jest przeznaczony do wykrywania wzorców podejmowania decyzji lub odstępstw od wzorców podjętych uprzednio decyzji i nie ma na celu zastąpienia ani wywarcia wpływu na zakończoną uprzednio ocenę dokonaną przez człowieka – bez odpowiedniej weryfikacji przez człowieka; lub d) jest przeznaczony do wykonywania zadań przygotowawczych w kontekście oceny istotnej z punktu widzenia przypadków wykorzystania wymienionych w załączniku III. System z załącznika III zawsze jest systemem wysokiego ryzyka, jeżeli dokonuje profilowania osób fizycznych (art. 3 pkt 52, art. 4 pkt 4 RODO). Dostawca, który uważa, że jego system z załącznika III nie jest systemem wysokiego ryzyka, dokumentuje swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku i rejestruje system (art. 6 ust. 4, art. 49 ust. 2). To, czy dany system edukacyjny dokonuje profilowania, jest pytaniem do prawnika.

• Wyciąganie wniosków o emocjach w instytucjach edukacyjnych: zakaz z wyjątkiem względów medycznych lub bezpieczeństwa

  Art. 5 ust. 1 lit. f) zakazuje wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych, z wyjątkiem przypadków, w których system AI ma zostać wdrożony lub wprowadzony do obrotu ze względów medycznych lub bezpieczeństwa. Zakaz stosuje się od 2 lutego 2025 (art. 113 lit. a)). To zakaz, a nie zastosowanie wysokiego ryzyka: wyjątek nie tworzy żadnego obowiązku i nie jest punktem odniesienia w załączniku III. Funkcja systemu edukacyjnego, która wyciąga wnioski o emocjach uczniów, podlega lit. f), chyba że zachodzi wyjątek. Naruszenie podlega karze do 35 mln EUR lub, w przypadku przedsiębiorstwa, do 7 % jego całkowitego światowego obrotu rocznego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 3). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6).

• Inne przepisy rozporządzenia, które mogą dotyczyć AI w edukacji

  Art. 4 wymaga, aby dostawcy i podmioty wdrażające systemy AI podejmowali środki, które wspierają rozwój kompetencji w zakresie AI wśród ich personelu i innych osób zajmujących się działaniem i wykorzystaniem systemów AI w ich imieniu; rozdział I stosuje się od 2 lutego 2025. Art. 50 ustanawia obowiązki w zakresie przejrzystości dla dostawców i podmiotów wdrażających niektóre systemy AI; nie wymienia przypadku z edukacji i stosuje się od ogólnej daty rozpoczęcia stosowania, 2 sierpnia 2026. Art. 53 ustanawia obowiązki dostawców modeli AI ogólnego przeznaczenia; nie wymienia przypadku z edukacji.

Dostawca rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym (art. 3 pkt 3). Oddanie do użytku obejmuje dostarczenie systemu do użytku własnego dostawcy (art. 3 pkt 11). Szkoła, uczelnia lub organ egzaminacyjny, które wykorzystują system, nad którym sprawują kontrolę, są podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący; art. 3 pkt 4). Uczelnia, która rozwija system i oddaje go do użytku na własne potrzeby pod własną nazwą, jest więc dostawcą. Podmiot wdrażający staje się dostawcą systemu wysokiego ryzyka w trzech przypadkach. Umieszcza swoją nazwę lub znak towarowy na systemie już wprowadzonym do obrotu, bez uszczerbku dla ustaleń umownych przewidujących inny podział obowiązków. Wprowadza istotną zmianę, po której system pozostaje systemem wysokiego ryzyka. Albo zmienia przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się on takim systemem (art. 25 ust. 1).

Dostawca systemu edukacyjnego wysokiego ryzyka ponosi poniższe obowiązki projektowe. Każda ze stron wymienionych pod nagłówkiem „Strony o artykułach dla edukacji” omawia jeden z nich.

• art. 9
  System zarządzania ryzykiem

  Ciągły, iteracyjny proces w całym cyklu życia, z testami względem uprzednio określonych wskaźników i z uwzględnieniem osób poniżej 18 roku życia.

• art. 10
  Dane i zarządzanie danymi

  Zbiory danych treningowych, walidacyjnych i testowych spełniające kryteria jakości, wraz z badaniem stronniczości i praktykami zarządzania danymi.

• art. 12
  Rejestrowanie zdarzeń w projekcie systemu

  System technicznie umożliwia automatyczne rejestrowanie zdarzeń (rejestrów zdarzeń) w całym cyklu życia.

• art. 13
  Przejrzystość i instrukcja obsługi

  Działanie wystarczająco przejrzyste, aby podmioty wdrażające mogły interpretować wyniki, z instrukcją obsługi zawierającą co najmniej elementy z art. 13 ust. 3.

• art. 14
  Nadzór ze strony człowieka

  Projekt, który umożliwia osobom fizycznym skuteczny nadzór nad systemem w okresie jego wykorzystywania.

• art. 15
  Dokładność, solidność i cyberbezpieczeństwo

  Odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa w całym cyklu życia; poziomy dokładności i odpowiednie wskaźniki deklaruje się w instrukcji obsługi. Podmioty wdrażające nie mają obowiązku z art. 15.

• art. 17
  System zarządzania jakością

  Udokumentowany system zarządzania jakością. Jego wdrożenie musi być proporcjonalne do wielkości organizacji dostawcy, w szczególności jeżeli dostawca jest MŚP lub małą spółką o średniej kapitalizacji, które w każdym przypadku przestrzegają wymaganego stopnia rygoryzmu (art. 17 ust. 2).

• art. 43(2), 47–49
  Ocena zgodności i rejestracja

  W przypadku systemów z pkt 2–8 załącznika III, do których należy pkt 3, dostawca stosuje procedurę oceny zgodności opartą na kontroli wewnętrznej (załącznik VI), bez udziału jednostki notyfikowanej (art. 43 ust. 2). Przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku sporządza deklarację zgodności UE (art. 47), umieszcza oznakowanie CE (art. 48) oraz rejestruje siebie i system w bazie danych UE (art. 49 ust. 1).

• art. 26(1)–(3)
  Wykorzystywać zgodnie z instrukcją, powierzyć nadzór

  Podmioty wdrażające podejmują odpowiednie środki techniczne i organizacyjne w celu wykorzystywania systemu zgodnie z instrukcją obsługi oraz powierzają sprawowanie nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie. Obowiązki te pozostają bez uszczerbku dla innych obowiązków podmiotów wdrażających wynikających z prawa Unii lub prawa krajowego (art. 26 ust. 1–3).

• art. 26(4)–(6)
  Dane wejściowe, monitorowanie i rejestry zdarzeń

  W zakresie, w jakim podmiot wdrażający sprawuje kontrolę nad danymi wejściowymi, zapewnia ich adekwatność i wystarczającą reprezentatywność w odniesieniu do przeznaczenia. Monitoruje działanie systemu w oparciu o instrukcję obsługi, a jeżeli ma powody uważać, że wykorzystanie zgodnie z instrukcją może powodować ryzyko w rozumieniu art. 79 ust. 1, bez zbędnej zwłoki informuje o tym dostawcę lub dystrybutora oraz organ nadzoru rynku i zawiesza wykorzystywanie systemu. Przechowuje rejestry zdarzeń znajdujące się pod jego kontrolą przez co najmniej sześć miesięcy, o ile prawo Unii lub prawo krajowe nie stanowi inaczej (art. 26 ust. 4–6).

• art. 26(8)
  Organy publiczne: rejestracja

  Podmioty wdrażające będące organami publicznymi albo instytucjami, organami i jednostkami organizacyjnymi Unii spełniają obowiązki rejestracji z art. 49 i nie stosują systemu, który nie został zarejestrowany w bazie danych UE (art. 26 ust. 8, art. 49 ust. 3).

• art. 26(9)
  Ocena skutków dla ochrony danych, w stosownych przypadkach

  W stosownych przypadkach podmioty wdrażające korzystają z informacji przekazanych na podstawie art. 13, aby spełnić obowiązek przeprowadzenia oceny skutków dla ochrony danych zgodnie z art. 35 RODO (art. 26 ust. 9). To, czy taki obowiązek istnieje, rozstrzyga prawo o ochronie danych.

• art. 26(11)
  Informowanie osób, których to dotyczy

  Bez uszczerbku dla art. 50 podmioty wdrażające systemy wysokiego ryzyka z załącznika III, które podejmują decyzje lub uczestniczą w podejmowaniu decyzji dotyczących osób fizycznych, informują te osoby o tym, że jest w stosunku do nich wykorzystywany system (art. 26 ust. 11). To obowiązek informacyjny rozporządzenia wobec uczniów. Nie jest to art. 50 ust. 1.

• art. 27
  Ocena skutków w zakresie praw podstawowych

  Przed wdrożeniem systemu wysokiego ryzyka podmioty wdrażające będące podmiotami prawa publicznego lub podmiotami prywatnymi świadczącymi usługi publiczne przeprowadzają ocenę skutków w zakresie praw podstawowych i powiadamiają organ nadzoru rynku o jej wynikach; w przypadku, o którym mowa w art. 46 ust. 1, podmioty wdrażające mogą zostać zwolnione z obowiązku dokonania powiadomienia. Obowiązek wyłącza pkt 2 załącznika III i obejmuje pkt 3 (art. 27 ust. 1 i 3). Rozporządzenie nie wymienia żadnej szkoły ani uczelni; to, czy dana instytucja jest podmiotem prawa publicznego lub podmiotem prywatnym świadczącym usługi publiczne, rozstrzyga prawo krajowe i jest pytaniem do prawnika.

• art. 86
  Prawo do wyjaśnienia

  Osoba, na którą AI ma wpływ, będąca przedmiotem decyzji podjętej przez podmiot wdrażający na podstawie wyników systemu z załącznika III (z wyjątkiem pkt 2), która to decyzja wywołuje skutki prawne lub w podobny sposób oddziałuje na tę osobę na tyle znacząco, że uważa ona, iż ma to niepożądany wpływ na jej zdrowie, bezpieczeństwo lub prawa podstawowe, ma prawo uzyskać od podmiotu wdrażającego jasne i merytoryczne wyjaśnienie (art. 86).

• art. 4
  Kompetencje personelu w zakresie AI

  Podmioty wdrażające podejmują środki, które wspierają rozwój kompetencji w zakresie AI wśród ich personelu i innych osób zajmujących się działaniem i wykorzystaniem systemów AI w ich imieniu. Obowiązek ten nie oznacza, że mają zapewniać osiągnięcie określonego poziomu kompetencji w zakresie AI przez poszczególne osoby (art. 4).

• Terminy

  Rozdział III sekcje 1–3, które obejmują art. 9–15, 17, 26 i 27, stosuje się do systemów AI zaklasyfikowanych jako systemy wysokiego ryzyka na podstawie art. 6 ust. 2 i załącznika III od 2 grudnia 2027 (art. 113 lit. c) ppkt (i)). System wysokiego ryzyka wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy od tej daty jego projekt ulegnie istotnym zmianom. W każdym razie dostawcy systemów AI wysokiego ryzyka i podmioty wdrażające takie systemy, które są przeznaczone do wykorzystywania przez organy publiczne, podejmują niezbędne kroki w celu zapewnienia zgodności z wymogami i spełnienia obowiązków ustanowionych w rozporządzeniu do 2 sierpnia 2030 (art. 111 ust. 2). Rozporządzenie nie stanowi, czy dotyczy to również systemów wprowadzonych do obrotu lub oddanych do użytku po 2 grudnia 2027; jest to pytanie do prawnika.

• Kary pieniężne

  Dostawcy muszą zapewnić, aby ich systemy AI wysokiego ryzyka spełniały wymogi sekcji 2 rozdziału III, która obejmuje art. 9–15 (art. 16 lit. a)). Naruszenie obowiązków dostawców z art. 16 lub obowiązków podmiotów wdrażających z art. 26 może skutkować karą pieniężną. Kara wynosi do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4 lit. a) i e)). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). To samo dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy dotyczące określenia, w jakim zakresie na organy i podmioty publiczne można nakładać administracyjne kary pieniężne (art. 99 ust. 8).

• Systemy poza zakresem rozporządzenia

  Rozporządzenie stosuje się do dostawców wprowadzających do obrotu lub oddających do użytku systemy AI w Unii, niezależnie od tego, czy dostawcy ci mają siedzibę lub znajdują się w Unii czy w państwie trzecim, oraz do dostawców systemów AI i podmiotów stosujących systemy AI, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku gdy wyniki wytworzone przez system AI są wykorzystywane w Unii (art. 2 ust. 1 lit. a) i c)). Nie stosuje się go do obszarów wykraczających poza zakres stosowania prawa Unii i w żadnym wypadku nie wpływa ono na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego (art. 2 ust. 3). Nie stosuje się go do systemów AI, jeżeli – i w zakresie, w jakim – wprowadzono je do obrotu, oddano do użytku lub są one wykorzystywane, ze zmianami lub bez zmian, wyłącznie do celów wojskowych, obronnych lub do celów bezpieczeństwa narodowego, ani do systemów AI, które nie zostały wprowadzone do obrotu ani oddane do użytku w Unii, a których wyniki są wykorzystywane w Unii wyłącznie do takich celów (art. 2 ust. 3). Nie stosuje się go do systemów AI ani modeli AI, w tym ich wyników, specjalnie rozwiniętych i oddanych do użytku wyłącznie do celów badań naukowych i rozwojowych (art. 2 ust. 6). Nie stosuje się go do działalności badawczej, testowej ani rozwojowej przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku; wyłączenie to nie obejmuje testów w warunkach rzeczywistych (art. 2 ust. 8). Nie stosuje się go do obowiązków podmiotów wdrażających będących osobami fizycznymi, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej (art. 2 ust. 10). Systemy AI udostępniane na podstawie bezpłatnych licencji otwartego oprogramowania są poza zakresem rozporządzenia. Wyłączenie to nie ma zastosowania, jeżeli są one wprowadzane do obrotu lub oddawane do użytku jako systemy AI wysokiego ryzyka albo objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak wartości specyficznych dla edukacji

  Poza załącznikiem III pkt 3 i art. 5 ust. 1 lit. f) rozporządzenie nie zawiera zasady specyficznej dla edukacji. Nie wskazuje dla edukacji wartości dokładności, okresu przechowywania ponad sześciomiesięczne minimum, częstotliwości testów ani progu stronniczości. Samo rozporządzenie nie wskazuje żadnej normy zharmonizowanej. Dla systemów AI wysokiego ryzyka zgodnych z normami zharmonizowanymi, do których odniesienia opublikowano w Dzienniku Urzędowym, domniemuje się zgodność z wymogami sekcji 2 w zakresie, w jakim normy te je obejmują (art. 40 ust. 1). Komisja opracowuje wytyczne dotyczące stosowania art. 8–15, 25 i 26 (art. 96 ust. 1 lit. a)) oraz zakazanych praktyk (art. 96 ust. 1 lit. b)).

• Kto jest podmiotem prawa publicznego

  Art. 27 ust. 1 i art. 26 ust. 8 dotyczą podmiotów prawa publicznego, podmiotów prywatnych świadczących usługi publiczne oraz organów publicznych. Rozporządzenie nie definiuje tych pojęć dla szkół ani uczelni. O zaklasyfikowaniu instytucji decyduje prawo krajowe.

• Narzędzia, które nie są wymienione

  To, czy narzędzie do sprawdzania plagiatu, przewidywania rezygnacji z nauki lub adaptacyjnego uczenia się jest systemem wysokiego ryzyka, zależy od jego przeznaczenia określonego przez dostawcę, odczytanego względem pkt 3 lit. a)–d). Rozporządzenie nie podaje wykazu takich narzędzi.

Po jednej stronie dla każdego artykułu, który ma największe znaczenie dla dostawców i podmiotów wdrażających w edukacji.

• Art. 9 dla AI w edukacji: system zarządzania ryzykiem

  System zarządzania ryzykiem, w tym osoby poniżej 18 roku życia.

• Art. 10 dla AI w edukacji: dane i zarządzanie danymi

  Zbiory danych, badanie stronniczości i szczególne kategorie danych osobowych.

• Art. 12 dla AI w edukacji: rejestrowanie zdarzeń

  Automatyczne rejestrowanie zdarzeń i przechowywanie rejestrów.

• Art. 13 dla AI w edukacji: przejrzystość i informacje dla podmiotów wdrażających

  Instrukcja obsługi i informacje dla podmiotów wdrażających.

• Art. 14 dla AI w edukacji: nadzór ze strony człowieka

  Nadzór ze strony człowieka w projekcie systemu i rola podmiotu wdrażającego.

• Art. 15 dla AI w edukacji: dokładność, solidność i cyberbezpieczeństwo

  Dokładność, solidność i cyberbezpieczeństwo.

• Art. 17 dla AI w edukacji: system zarządzania jakością

  System zarządzania jakością dla dostawców.

• Art. 26 w edukacji: obowiązki podmiotów wdrażających

  Co muszą robić podmioty wdrażające systemy wysokiego ryzyka.

• Art. 50 dla AI w edukacji: przejrzystość i ujawnianie

  Obowiązki w zakresie przejrzystości dla niektórych systemów AI.

• Art. 53 w edukacji: obowiązki dostawców modeli AI ogólnego przeznaczenia

  Obowiązki dostawców modeli AI ogólnego przeznaczenia.

• Załącznik III szczegółowo: 8 kategorii wysokiego ryzyka

  Wszystkie osiem obszarów załącznika III, w tym pkt 3 o kształceniu i szkoleniu zawodowym.

• Artykuł 6: klasyfikacja systemów AI wysokiego ryzyka

  Jak art. 6 klasyfikuje systemy AI wysokiego ryzyka, w tym wyjątek z art. 6 ust. 3.

• Artykuł 27: ocena skutków dla praw podstawowych (FRIA)

  Ocena skutków w zakresie praw podstawowych dla podmiotów wdrażających będących podmiotami prawa publicznego lub podmiotami prywatnymi świadczącymi usługi publiczne.

• Zakazane praktyki AI: artykuł 5 rozporządzenia AI

  Zakazane praktyki z art. 5, w tym zakaz wyciągania wniosków o emocjach w instytucjach edukacyjnych.