Art. 15 dla AI w edukacji: dokładność, solidność i cyberbezpieczeństwo

Art. 15 określa wymogi projektowe dla dostawcy. Nie podaje żadnej wartości dokładności dla żadnego sektora.

• art. 15(1)
  Odpowiedni poziom w całym cyklu życia

  Systemy AI wysokiego ryzyka projektuje się i opracowuje tak, aby osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz aby pod tymi względami działały spójnie w całym cyklu życia.

• art. 15(2)
  Wzorce porównawcze wspiera Komisja

  Komisja zachęca, w stosownych przypadkach, do opracowywania wzorców porównawczych i metod pomiarowych, we współpracy z zainteresowanymi stronami, takimi jak organy metrologiczne i organy ds. analizy porównawczej. To nie jest obowiązek dostawcy.

• art. 15(3)
  Deklarowanie poziomów i wskaźników

  Poziomy dokładności i odpowiednie wskaźniki dokładności podaje się w dołączonej instrukcji obsługi.

• art. 15(4)
  Odporność na błędy i pętle sprzężenia zwrotnego

  Systemy muszą być możliwie odporne na błędy, usterki i niespójności, które mogą wystąpić w systemie lub w środowisku jego działania, w szczególności z powodu interakcji z osobami fizycznymi lub innymi systemami. Podejmuje się środki techniczne i organizacyjne; jako opcje wymieniono redundancję techniczną oraz plany zapasowe lub zapewniające bezpieczeństwo. System, który uczy się dalej po wprowadzeniu do obrotu, projektuje się tak, aby wyeliminować lub w maksymalnym stopniu ograniczyć ryzyko, że stronnicze wyniki wpłyną na dane wejściowe w przyszłości (pętle sprzężenia zwrotnego).

• art. 15(5)
  Cyberbezpieczeństwo wobec nieuprawnionych osób trzecich

  Systemy muszą być odporne na próby nieuprawnionych osób trzecich zmiany ich wykorzystania, wyników lub działania przez wykorzystanie słabych punktów. Rozwiązania techniczne obejmują w stosownych przypadkach środki przeciwko zatruwaniu danych, zatruwaniu modelu, przykładom kontradyktoryjnym lub uchylaniu się modelu, atakom na poufność i wadom modelu.

Art. 15 dotyczy wyłącznie systemów AI wysokiego ryzyka. Poniższe wiersze pokazują, kiedy AI w edukacji staje się systemem wysokiego ryzyka.

• Gdzie w rozporządzeniu mieści się edukacja

  Rozporządzenie nie zawiera sektorowego reżimu dla edukacji. Ta strona używa słowa „edukacja” dla AI stosowanej w szkołach, na uczelniach, w kształceniu zawodowym i na egzaminach. Taka AI podlega rozporządzeniu przez załącznik III pkt 3 pod tytułem „Kształcenie i szkolenie zawodowe” oraz przez zakaz wnioskowania o emocjach w placówkach edukacji (art. 5 ust. 1 lit. f)). Pkt 3 nie wymienia wykrywania plagiatów, przewidywania rezygnacji z nauki, adaptacyjnych platform edukacyjnych, paneli postępów ani chatbotów administracyjnych; czy system pod niego podpada, wynika z jego przeznaczenia (art. 3 pkt 12). System może być też systemem wysokiego ryzyka na podstawie innego punktu załącznika III.

• Załącznik III pkt 3: cztery zastosowania

  załącznik III pkt 3 obejmuje systemy AI przeznaczone do wykorzystywania: a) do celów podejmowania decyzji o dostępie lub przyjęciu do instytucji edukacyjnych i instytucji szkolenia zawodowego lub przydzielania osób do tych instytucji na wszystkich poziomach; b) do celów oceny efektów uczenia się, także w przypadku gdy efekty te są wykorzystywane do kierowania procesem uczenia się osób fizycznych w instytucjach edukacyjnych i instytucjach szkolenia zawodowego na wszystkich poziomach; c) do celów oceny odpowiedniego poziomu wykształcenia, jaki dana osoba otrzyma lub do jakiego będzie mogła mieć dostęp w kontekście lub w ramach tych instytucji; d) do celów monitorowania i wykrywania niedozwolonego zachowania uczniów podczas testów w kontekście lub w ramach tych instytucji. Zgodnie z art. 6 ust. 2 systemy AI, o których mowa w załączniku III, uznaje się za systemy wysokiego ryzyka. Dostawca, który uważa, że taki system nie jest systemem wysokiego ryzyka na podstawie art. 6 ust. 3, musi udokumentować swoją ocenę przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku i zarejestrować go zgodnie z art. 49 ust. 2. Odstępstwo nigdy nie ma zastosowania, gdy system dokonuje profilowania osób fizycznych. Profilowanie oznacza profilowanie zgodnie z definicją w art. 4 pkt 4 rozporządzenia (UE) 2016/679 (art. 3 pkt 52).

• Dostawca i podmiot wdrażający

  Dostawca opracowuje system AI lub zleca jego opracowanie i wprowadza go do obrotu lub oddaje do użytku pod własną nazwą (art. 3 pkt 3); może to być dostawca technologii edukacyjnych albo uczelnia, która opracowuje system na własny użytek. Osoba fizyczna lub prawna, organ publiczny, agencja lub inny podmiot, który wykorzystuje system pod własnym nadzorem, na przykład szkoła, uczelnia lub organ egzaminacyjny, jest podmiotem wdrażającym (w rozporządzeniu: podmiot stosujący) (art. 3 pkt 4). Podmiot wdrażający staje się dostawcą, jeżeli umieści swoją nazwę lub znak towarowy na systemie wysokiego ryzyka już wprowadzonym do obrotu, wprowadzi istotną zmianę, po której system pozostaje systemem wysokiego ryzyka, albo zmieni przeznaczenie systemu niebędącego systemem wysokiego ryzyka tak, że staje się nim (art. 25 ust. 1).

• Terminy

  Załącznik III pkt 3 obowiązuje od 2 grudnia 2027 (art. 113 lit. c)). System wprowadzony do obrotu lub oddany do użytku przed tą datą jest objęty rozporządzeniem tylko wtedy, gdy od tej daty wprowadzono istotne zmiany w jego projekcie. W tym samym ustępie zdanie „w każdym razie” stanowi, że dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne podejmują niezbędne kroki w celu spełnienia wymogów do 2 sierpnia 2030 (art. 111 ust. 2). Rozporządzenie nie mówi, czy dotyczy to także systemów wprowadzonych do obrotu po 2 grudnia 2027; zasięgnij porady prawnej.

• Kary

  Naruszenie obowiązków dostawców (art. 16) i podmiotów wdrażających (art. 26) może skutkować karą pieniężną do 15 mln EUR lub, w przypadku przedsiębiorstwa, do 3 % jego całkowitego światowego obrotu rocznego z poprzedniego roku obrotowego, zależnie od tego, która kwota jest wyższa (art. 99 ust. 4). Dla MŚP, w tym przedsiębiorstw typu start-up, każda kara jest ograniczona do niższej z tych kwot (art. 99 ust. 6). Ten sam pułap dotyczy małych spółek o średniej kapitalizacji (art. 3 pkt 14b, art. 99 ust. 6a). Każde państwo członkowskie ustanawia przepisy określające, w jakim zakresie kary administracyjne mogą być nakładane na organy i podmioty publiczne ustanowione w tym państwie członkowskim (art. 99 ust. 8).

• Granice zakresu stosowania rozporządzenia

  Rozporządzenie stosuje się do dostawców wprowadzających do obrotu lub oddających do użytku systemy AI w Unii albo wprowadzających do obrotu modele AI ogólnego przeznaczenia w Unii, bez względu na miejsce ich siedziby (art. 2 ust. 1 lit. a)), oraz do dostawców i podmiotów wdrażających z siedzibą w państwie trzecim, jeżeli wyniki działania systemu AI są wykorzystywane w Unii (lit. c)). Nie stosuje się go do obszarów wykraczających poza zakres prawa Unii i nie wpływa na kompetencje państw członkowskich w zakresie bezpieczeństwa narodowego; nie stosuje się go też do systemów AI wykorzystywanych wyłącznie do celów wojskowych, obronnych lub bezpieczeństwa narodowego (art. 2 ust. 3). Rozporządzenia nie stosuje się do systemów AI ani modeli AI, w tym ich wyników, opracowanych i oddanych do użytku wyłącznie w celu badań naukowych i prac rozwojowych (art. 2 ust. 6). Nie stosuje się go też do działalności badawczej, testowej i rozwojowej prowadzonej przed wprowadzeniem systemu lub modelu do obrotu lub oddaniem do użytku; testy w warunkach rzeczywistych nie są objęte tym wyłączeniem (art. 2 ust. 8). Nie stosuje się go do obowiązków podmiotów wdrażających będących osobami fizycznymi, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej (art. 2 ust. 10). Nie ma zastosowania do systemów AI udostępnianych na podstawie bezpłatnych licencji otwartego oprogramowania, chyba że zostaną wprowadzone do obrotu lub oddane do użytku jako systemy AI wysokiego ryzyka lub jako systemy AI objęte art. 5 lub 50 (art. 2 ust. 12).

• Brak wartości dokładności dla edukacji

  Art. 15 nie podaje dla żadnego sektora wskaźnika dokładności, wartości minimalnej, metody testowania ani normy, także dla systemów przyjęć, oceniania czy monitorowania testów. Dostawca deklaruje poziomy i odpowiednie wskaźniki (art. 15 ust. 3). Normy zharmonizowane, do których odniesienia opublikowano w Dzienniku Urzędowym, dają domniemanie zgodności w zakresie, w jakim obejmują wymogi (art. 40 ust. 1); opublikowany certyfikat cyberbezpieczeństwa na podstawie rozporządzenia (UE) 2019/881 daje je w odniesieniu do wymogów cyberbezpieczeństwa w zakresie, w jakim je obejmuje (art. 42 ust. 2). Systemy objęte zakresem rozporządzenia (UE) 2024/2847, które spełniają warunki art. 12 ust. 1 tego rozporządzenia, uznaje się za zgodne z wymogami cyberbezpieczeństwa z art. 15 (art. 42 ust. 3). Komisja opracowuje wytyczne dotyczące stosowania wymogów i obowiązków z art. 8–15 oraz art. 25 i 26 (art. 96 ust. 1 lit. a)).

• Przykład: wskaźniki modelu oceniania

  Przykład, nie wymóg rozporządzenia: dostawca systemu oceniającego efekty uczenia się mógłby zadeklarować, jakie wskaźniki dokładności zmierzył, oraz wskazać grupę uczniów lub studentów i rodzaj oceny, na których je zmierzono.

• Przykład: sprzężenia zwrotne

  Przykład, nie wymóg rozporządzenia: dostawca systemu, który uczy się dalej po wprowadzeniu do obrotu (art. 15 ust. 4), mógłby sprawdzić, czy wyniki wracające jako późniejsze dane wejściowe zmieniają rezultaty dla określonych grup uczniów lub studentów, i zachować wyniki.

• Artykuł 15 rozporządzenia AI: dokładność, solidność i cyberbezpieczeństwo

  Art. 15 dla wszystkich sektorów: wymogi, terminy i kary.

• Rozporządzenie AI edtech: zgodność w edukacji

  Przegląd edukacji: jak rozporządzenie obejmuje AI w szkołach, na uczelniach i w szkoleniach.

• Art. 17 dla AI w edukacji: system zarządzania jakością

  AI w edukacji i art. 17: 13 aspektów i kto jest dostawcą.

• Załącznik III szczegółowo: 8 kategorii wysokiego ryzyka

  Osiem obszarów załącznika III, w tym kształcenie i szkolenie zawodowe.