Shadow AI: budowa inwentarza systemów AI
Jak znaleźć systemy AI w organizacji i zapisać je w jednym rejestrze: pięć kroków, szablon rejestru i obowiązki z art. 4, 26 i 49.
Rozporządzenie o AI nie zawiera artykułu wymagającego inwentarza systemów AI, ale kilka obowiązków trudno spełnić bez niego.
Dostawcy i podmioty wdrażające muszą podejmować środki wspierające kompetencje w zakresie AI swojego personelu (art. 4). Obowiązuje to od 2 lutego 2025. Podmioty wdrażające systemy wysokiego ryzyka muszą podejmować odpowiednie środki, aby używać ich zgodnie z instrukcją obsługi. Obowiązuje to od 2 grudnia 2027 (załącznik III) lub 2 sierpnia 2028 (załącznik I). Naruszenia art. 26 zagrożone są karą do 15 mln EUR lub 3 % całkowitego światowego obrotu rocznego, w zależności od tego, która kwota jest wyższa (art. 99 ust. 4). Pierwszy krok: wypisz każdy używany system AI.
Trzy z obowiązków zakładają, że znasz swoje systemy AI
Kompetencje w zakresie AI (art. 4)
Dostawcy i podmioty wdrażające systemy AI podejmują środki wspierające kompetencje w zakresie AI swojego personelu i innych osób, które w ich imieniu obsługują systemy AI i z nich korzystają, z uwzględnieniem kontekstu. Obowiązek nie wymaga gwarantowania określonego poziomu żadnej osobie.
Obowiązki podmiotu wdrażającego (art. 26)
Podmioty wdrażające systemy AI wysokiego ryzyka podejmują odpowiednie środki techniczne i organizacyjne, aby używać ich zgodnie z instrukcją obsługi, powierzają nadzór ze strony człowieka osobom o odpowiednich kompetencjach, przeszkoleniu i uprawnieniach oraz monitorują działanie systemu (art. 26 ust. 1, 2 i 5).
Rejestracja (art. 49)
Dostawcy rejestrują w unijnej bazie danych systemy wysokiego ryzyka z załącznika III oraz systemy, które uznali za niebędące systemami wysokiego ryzyka na podstawie art. 6 ust. 3, przed wprowadzeniem ich do obrotu lub oddaniem do użytku. Systemy dla organów ścigania i migracji (załącznik III pkt 1, 6 i 7) trafiają do niepublicznej sekcji, a systemy infrastruktury krytycznej (pkt 2) są rejestrowane na poziomie krajowym. Podmioty wdrażające będące organami publicznymi, instytucjami, organami lub jednostkami organizacyjnymi Unii albo osobami działającymi w ich imieniu rejestrują swoje użycie (art. 49 ust. 3).
Art. 2 ogranicza zakres stosowania. Do systemów AI sklasyfikowanych jako wysokiego ryzyka na podstawie art. 6 ust. 1, związanych z produktami z załącznika I sekcji B, stosuje się tylko art. 6 ust. 1, art. 60a i art. 102–112, a więc nie art. 4. Rozporządzenie wyłącza też systemy wykorzystywane wyłącznie do celów wojskowych, obronnych lub bezpieczeństwa narodowego, systemy badawcze oraz czysto osobiste, nieprofesjonalne użycie (art. 2 ust. 2, 3, 6, 8 i 10).
Co jest systemem AI, a co nim nie jest
Rozporządzenie definiuje system AI jako system oparty na maszynie, zaprojektowany do działania z różnym poziomem autonomii, który na podstawie danych wejściowych wnioskuje, jak generować wyniki, takie jak predykcje, treści, zalecenia lub decyzje (art. 3 pkt 1). Systemy oparte wyłącznie na regułach zdefiniowanych przez osoby fizyczne nie są objęte (motyw 12).
Usługi AI wywoływane przez API
Twój kod wywołuje model AI przez API. System AI jest używany, nawet jeśli model uruchamia dostawca. Zapisz go i odnotuj, kto jest dostawcą, a kto podmiotem wdrażającym.
Wbudowane wstępnie wytrenowane modele
Plik modelu z publicznego repozytorium modeli działa w Twojej aplikacji, na przykład do klasyfikacji lub moderacji treści. Zapisz model i jego pochodzenie.
Narzędzia SaaS z funkcjami AI
Przykładami są asystenci pisania, scoring w CRM i asystenci kodu. Użycie takiego narzędzia do celu wymienionego w załączniku III, np. do wstępnej selekcji kandydatów, może uczynić Cię podmiotem wdrażającym system wysokiego ryzyka, chyba że zastosowanie ma wyjątek z art. 6 ust. 3.
Funkcje scoringu, rekomendacji i filtrowania
Są to systemy AI tylko wtedy, gdy wnioskują o wynikach z danych wejściowych. Stały zestaw reguł napisanych przez ludzi nie jest systemem AI. Sprawdź, co masz.
Pięć kroków do inwentarza
Przeskanuj kod
Zacznij od wykrywania w kodzie: przeszukaj wszystkie repozytoria pod kątem importów związanych z AI, wywołań API, plików modeli i konfiguracji.
- Szukaj importów frameworków ML (na przykład tensorflow, torch, sklearn, transformers)
- Wykrywaj wywołania API AI (na przykład openai, anthropic, google.ai, azure.cognitiveservices)
- Znajdź pliki modeli (na przykład .pb, .pt, .onnx, .h5, .pkl, .safetensors)
- Znajdź pliki konfiguracyjne AI, takie jak konfiguracje modeli i szablony promptów
- Szukaj użycia embeddingów i baz wektorowych (na przykład pinecone, weaviate, chromadb)
Zapytaj zespoły
Skanowanie kodu znajduje AI widoczną w kodzie, a pomija planowaną, eksperymentalną lub opartą na SaaS. Zapytaj każdy zespół o resztę.
- Wysłać krótki kwestionariusz do zespołów inżynieryjnych, produktowych i biznesowych
- Zapytać o funkcje AI w używanych narzędziach SaaS
- Wskazać eksperymentalne projekty AI i projekty typu proof of concept
- Udokumentować narzędzia AI używane w procesach wewnętrznych, takich jak selekcja kandydatów, obsługa klienta i analityka
- Zmapować relacje z dostawcami obejmujące usługi AI lub ML
Sklasyfikuj każdy system
Dla każdego systemu sprawdź w tej kolejności, jakie przepisy mają zastosowanie, i zapisz uzasadnienie.
- Sprawdzić zakazane praktyki z art. 5
- Sprawdzić ścieżkę z załącznika I i 8 obszarów z załącznika III (art. 6)
- Sprawdzić wyjątek z art. 6 ust. 3, jeśli ma zastosowanie
- Sprawdzić, czy uczestniczy model AI ogólnego przeznaczenia (art. 3 pkt 63)
- Sprawdzić obowiązki przejrzystości z art. 50
- Udokumentować uzasadnienie dla każdego systemu
Prowadź jeden rejestr
Utwórz jeden rejestr wszystkich systemów AI. Jest on podstawą obowiązków z art. 4, 26 i 49 oraz odpowiedzi na żądania organów.
- Nadaj każdemu systemowi AI unikalny identyfikator
- Zapisz dostawcę, podmiot wdrażający i osobę odpowiedzialną
- Zapisz klasyfikację i uzasadnienie
- Śledź otwarte obowiązki dla każdego systemu
- Powiąż dokumentację techniczną (załącznik IV), jeśli ma zastosowanie
- Prowadź historię wersji i zapisy zmian
Utrzymuj aktualność
Inwentarz jest przydatny tylko wtedy, gdy jest aktualny. Rejestruj nowe systemy AI i zmiany, które mogą zmienić klasyfikację.
- Dodać kontrolę inwentarza AI do przeglądu kodu i pull requestów
- Wymagać rejestracji systemu AI przed wdrożeniem produkcyjnym
- Wyszukiwać nowe zależności AI w CI/CD
- Co kwartał przeglądać inwentarz z interesariuszami
- Ustalić, kto decyduje, gdy nowy system może być systemem wysokiego ryzyka
- Szkolić zespoły programistyczne w rozpoznawaniu i zgłaszaniu systemów AI
Możliwy rejestr: dziesięć pól (nasza propozycja)
| Pole | Opis | Przykład |
|---|---|---|
| ID systemu | Unikalny identyfikator | AI-SYS-001 |
| Nazwa systemu | Nazwa używana wewnętrznie | Asystent wstępnej selekcji CV |
| Dostawca | Kto opracował system | Nazwa dostawcy lub zespół wewnętrzny |
| Twoja rola | Dostawca, podmiot wdrażający lub oba | Podmiot wdrażający |
| Klasyfikacja | Wynik Twojej klasyfikacji z uzasadnieniem | Wysokie ryzyko, załącznik III pkt 4 lit. a |
| Przeznaczenie | Do czego służy system | Szereguje aplikacje |
| Status wdrożenia | Bieżący etap cyklu życia | Produkcja |
| Przetwarzane dane | Rodzaje przetwarzanych danych | CV i formularze aplikacyjne |
| Osoba odpowiedzialna | Wewnętrzny właściciel obowiązków | Szef HR |
| Otwarte obowiązki | Co jeszcze zostało do zrobienia | Zażądać instrukcji obsługi |
Najczęstsze pytania o inwentarz AI
Czy rozporządzenie o AI wymaga inwentarza systemów AI?
Żaden artykuł nie wymaga inwentarza jako dokumentu. Kilka obowiązków zakłada, że znasz swoje systemy AI: kompetencje w zakresie AI dostawców i podmiotów wdrażających (art. 4), obowiązki podmiotów wdrażających systemy wysokiego ryzyka (art. 26) i rejestracja w unijnej bazie danych (art. 49). Dostawca, który uznaje system z załącznika III za niebędący systemem wysokiego ryzyka, musi udokumentować tę ocenę i zarejestrować system (art. 6 ust. 4 i art. 49 ust. 2).
Jak postępować z systemami AI, które już działają produkcyjnie?
Zacznij od systemów, które mogą być zakazane (art. 5) lub wysokiego ryzyka (art. 6). Zapisz każdy system, sklasyfikuj go i odnotuj jego dostawcę. Rozporządzenie ma granice: wyłącza użycie wojskowe, badania i czysto osobiste użycie (art. 2 ust. 3, 6, 8 i 10), a niektóre zakazy obowiązują dopiero później (art. 113 lit. a). System wysokiego ryzyka wprowadzony do obrotu lub oddany do użytku przed datą rozpoczęcia stosowania jest objęty przepisami tylko wtedy, gdy jego konstrukcja zostanie później istotnie zmieniona. W każdym razie dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka przeznaczone do wykorzystywania przez organy publiczne muszą podjąć niezbędne kroki, aby spełnić wymogi do późniejszej daty (art. 111 ust. 2)
Czy uwzględniać w inwentarzu narzędzia AI dla pracowników?
Tak. Art. 4 obejmuje systemy AI, które Twój personel obsługuje i z których korzysta, niezależnie od tego, czy są systemami wysokiego ryzyka. Załącznik III pkt 4 wymienia zastosowania w zatrudnieniu, np. rekrutację i selekcję, decyzje dotyczące warunków pracy, przydzielanie zadań oraz monitorowanie wyników i zachowania.
Czytaj dalej: klasyfikacja i dokumentacja
Czy mój system AI jest wysokiego ryzyka? Drzewo decyzyjne
Przeprowadza przez pytania rozstrzygające, czy system AI jest zakazany, wysokiego ryzyka, czy żadne z tych.
Załącznik III szczegółowo: 8 kategorii wysokiego ryzyka
Wymienia 8 obszarów, w których systemy AI są systemami wysokiego ryzyka, z przykładami z treści załącznika.
Dokumentacja techniczna z załącznika IV: dziewięć punktów
Pokazuje dziewięć punktów dokumentacji, której potrzebuje system wysokiego ryzyka.
Scanara przygotowuje dowody na podstawie Państwa repozytoriów
Scanara odczytuje połączone repozytoria GitHub i uruchamia skany oparte na regułach pod kątem typowych wzorców AI i uczenia maszynowego. Może pominąć kod niestandardowy. Osobno generuje projekty dokumentacji na podstawie szablonów i Państwa odpowiedzi w ocenach, jako dowody dla Państwa pracy nad zgodnością. Klasyfikację ustalają Państwo.