Shadow AI: budowa inwentarza systemów AI
Jak wykryć shadow AI i zbudować zgodny inwentarz systemów AI na potrzeby rozporządzenia AI. Obejmuje skanowanie kodu, klasyfikację ryzyka, utworzenie centralnego rejestru i bieżące zarządzanie.
Ukryta AI (Shadow AI) oznacza systemy AI wdrożone w organizacji bez formalnego governance, oceny ryzyka lub nadzoru zgodności. Na mocy EU AI Act każdy system AI objęty zakresem musi być zidentyfikowany, sklasyfikowany i udokumentowany. Nie można zapewnić zgodności z czymś, czego nie widać.
Budowa inwentarza systemów AI jest obowiązkowym pierwszym krokiem do zgodności z EU AI Act. Art. 26 ust. 1 wymaga od podmiotów wdrażających przypisania środków nadzoru ludzkiego dla systemów AI wysokiego ryzyka, co zakłada wiedzę o tym, jakie systemy AI istnieją. Ten przewodnik prowadzi przez praktyczne, przyjazne programistom podejście.
Problem ukrytej AI
organizacji nie posiada kompletnego inwentarza systemów AI
więcej systemów AI niż kierownictwo zwykle szacuje
przypadków ukrytej AI dotyczy API firm trzecich lub wbudowanych modeli
Co liczy się jako ukryta AI
Ukryta AI nie ogranicza się do nieautoryzowanych modeli ML. Zgodnie z szeroką definicją EU AI Act (art. 3 ust. 1) system AI obejmuje każdy system maszynowy działający z różnym poziomem autonomii i generujący wyniki takie jak prognozy, rekomendacje lub decyzje.
Integracje API firm trzecich
API OpenAI, Anthropic, Google lub inne API AI wywoływane z bazy kodu. Nawet pojedyncze wywołanie API modelu językowego w funkcji skierowanej do klienta czyni aplikację systemem AI w rozumieniu rozporządzenia.
Wbudowane modele ML
Wytrenowane modele z Hugging Face, TensorFlow Hub lub PyTorch Hub wbudowane w aplikację. Mogą wykonywać klasyfikację, NER, analizę sentymentu lub moderację treści bez formalnego governance AI.
Narzędzia SaaS z funkcjami AI
Salesforce Einstein, HubSpot AI, Notion AI, GitHub Copilot i podobne narzędzia. Jeśli przetwarzają dane o osobach fizycznych w sposób wpływający na decyzje, mogą wymagać oceny zgodności.
Zautomatyzowane systemy decyzyjne
Systemy oparte na regułach z komponentami ML, silniki rekomendacji, algorytmy scoringowe i automatyczne filtrowanie treści. Jeśli działają z jakimkolwiek poziomem autonomii i wpływają na decyzje dotyczące osób fizycznych, są objęte zakresem.
Budowa inwentarza systemów AI: 5 kroków
Zeskanuj swoją bazę kodu
Zacznij od automatycznego odkrywania. Zeskanuj wszystkie repozytoria pod kątem importów związanych z AI, wywołań API, plików modeli i konfiguracji.
- Szukaj importów frameworków ML (tensorflow, torch, sklearn, transformers)
- Identyfikuj wywołania API AI (openai, anthropic, google.ai, azure.cognitiveservices)
- Znajdź pliki modeli (.pb, .pt, .onnx, .h5, .pkl, .safetensors)
- Wykryj pliki konfiguracyjne AI (konfiguracje modeli, szablony promptów)
- Skanuj pod kątem użycia embeddingów i wektorowych baz danych (pinecone, weaviate, chromadb)
Przeprowadź ankietę wśród zespołów i działów
Skanowanie kodu wykrywa wdrożoną AI, ale pomija planowaną, eksperymentalną lub opartą na SaaS AI. Przepytaj każdy zespół, aby zidentyfikować narzędzia AI niewidoczne w bazie kodu.
- Rozesłać ustrukturyzowaną ankietę do wszystkich zespołów inżynieryjnych, produktowych i biznesowych
- Zapytać o narzędzia SaaS z AI w użyciu
- Zidentyfikować eksperymentalne projekty AI lub proof-of-concept
- Udokumentować narzędzia AI używane w procesach wewnętrznych (screening HR, obsługa klienta, analityka)
- Zmapować relacje z dostawcami obejmujące usługi AI lub ML
Sklasyfikuj każdy system
Dla każdego odkrytego systemu AI określ klasyfikację ryzyka zgodnie z ramami EU AI Act.
- Zastosuj kontrolę zabronionych praktyk z art. 5
- Sprawdź wszystkie 8 kategorii wysokiego ryzyka Załącznika III
- Oceń wyjątki z art. 6 ust. 3 tam, gdzie to możliwe
- Określ status modelu GPAI (art. 51–55)
- Oceń obowiązki przejrzystości na mocy art. 50
- Udokumentuj uzasadnienie klasyfikacji dla każdego systemu
Ustanów centralny rejestr
Stwórz jedno źródło prawdy dla wszystkich systemów AI. Rejestr ten służy jako podstawa monitorowania zgodności i zapytań regulacyjnych.
- Przypisz unikalny identyfikator każdemu systemowi AI
- Zarejestruj dostawcę, podmiot wdrażający i osobę odpowiedzialną
- Udokumentuj klasyfikację ryzyka z uzasadnieniem
- Śledź status zgodności każdego systemu
- Powiąż z dokumentacją techniczną (Załącznik IV) tam, gdzie to stosowne
- Utrzymuj historię wersji i rejestr modyfikacji
Wdróż ciągłe governance
Inwentarz jest użyteczny tylko wtedy, gdy jest aktualny. Ustanów procesy przechwytywania nowych systemów AI i oznaczania zmian mogących wpłynąć na klasyfikację ryzyka.
- Dodaj kontrole inwentarza AI do procesu przeglądu kodu i PR
- Wymagaj rejestracji systemu AI przed wdrożeniem do produkcji
- Skonfiguruj automatyczne skanowanie w CI/CD do wykrywania nowych zależności AI
- Zaplanuj kwartalne przeglądy inwentarza z interesariuszami
- Zdefiniuj ścieżki eskalacji dla nowo odkrytych systemów AI wysokiego ryzyka
- Przeszkol zespoły deweloperskie w identyfikacji i raportowaniu systemów AI
Szablon inwentarza systemów AI
| Pole | Opis | Przykład |
|---|---|---|
| ID systemu | Unikalny identyfikator | AI-SYS-2026-001 |
| Nazwa systemu | Nazwa czytelna dla człowieka | Chatbot obsługi klienta |
| Dostawca | Organizacja, która opracowała system | Wewnętrzny / Nazwa dostawcy |
| Klasyfikacja ryzyka | Poziom ryzyka EU AI Act | Wysokie ryzyko (Załącznik III, Kat. 5) |
| Kategoria Załącznika III | Mająca zastosowanie kategoria (jeśli wysokie ryzyko) | Dostęp do podstawowych usług |
| Zamierzony cel | Do czego służy system | Odpowiada na zapytania klientów |
| Status wdrożenia | Aktualny etap cyklu życia | Produkcja |
| Przetwarzane dane | Rodzaje obsługiwanych danych | Wiadomości klientów, dane kont |
| Osoba odpowiedzialna | Wewnętrzny właściciel ds. zgodności | Jan Kowalski, VP Engineering |
| Status zgodności | Aktualny stan zgodności | W trakcie |
Podstawa prawna inwentarzy systemów AI
Choć EU AI Act nie wymaga wyraźnie inwentarza systemów AI jako samodzielnego wymagania, kilka obowiązków czyni go praktyczną koniecznością dla zgodności.
Art. 26 — Obowiązki podmiotów wdrażających
Podmioty wdrażające systemy AI wysokiego ryzyka muszą wdrożyć odpowiednie środki techniczne i organizacyjne, przypisać nadzór ludzki i zapewnić istotność danych wejściowych. Wymaga to wiedzy o tym, jakie systemy AI są wdrożone.
Art. 49 — Rejestracja w bazie danych UE
Dostawcy i podmioty wdrażające systemy AI wysokiego ryzyka muszą zarejestrować swoje systemy w bazie danych UE przed wprowadzeniem na rynek. Rejestracja wymaga informacji typowo zawartych w inwentarzu systemów AI.
Często zadawane pytania
Powiązane przewodniki
Jak pomaga Scanara
Scanara automatyzuje zgodność z EU AI Act od kodu do dossier. Połącz swoje repozytoria GitHub i otrzymaj raporty zgodności w kilka minut.