Artykuł 15 rozporządzenia AI: dokładność i odporność
Co artykuł 15 rozporządzenia AI wymaga w zakresie dokładności, odporności na ataki, mechanizmów awaryjnych i cyberbezpieczeństwa AI wysokiego ryzyka.
Artykuł 15: Dokładność, odporność i cyberbezpieczeństwo
Systemy AI wysokiego ryzyka muszą osiągać odpowiednie poziomy dokładności, odporności i cyberbezpieczeństwa przez cały cykl życia.
Dostawcy muszą deklarować metryki dokładności, budować odporność na błędy i ataki adversarial oraz wdrażać zabezpieczenia techniczne zapobiegające nieautoryzowanej manipulacji zachowaniem systemu.
Podstawowe wymagania
Zadeklarowane metryki dokładności
Zdefiniuj i udokumentuj odpowiednie poziomy dokładności i metryki w instrukcji użytkowania. Dokładność musi być mierzalna i weryfikowalna przez cały cykl życia systemu.
Odporność na błędy i awarie
Systemy muszą radzić sobie z błędami, awariami i niespójnościami z gracją. Wdróż mechanizmy redundancji, takie jak systemy zapasowe i plany bezpiecznego zatrzymania, aby utrzymać spójną wydajność.
Odporność na ataki adversarial
Ochrona przed zatruwaniem danych i zatruwaniem modelu, które korumpują dane treningowe lub parametry modelu. Systemy muszą wykrywać i łagodzić próby manipulacji wejściami lub wagami.
Ochrona przed atakami evasion i poufności
Obrona przed atakami evasion modelu, które wykorzystują granice decyzyjne, oraz atakami na poufność, które wydobywają wrażliwe informacje modelu lub dane treningowe.
Techniczne rozwiązania cyberbezpieczeństwa
Wdróż odpowiednie środki bezpieczeństwa, aby zapobiegać i kontrolować ataki adversarial i podatności modelu. Rozwiązania muszą adresować specyficzne zagrożenia związane z eksploatacją systemów AI.
Kroki implementacji
Pipeline'y testów adversarial
Zintegruj testowanie odporności adversarial w CI/CD. Generuj przykłady adversarial, testuj granice modelu i waliduj obronę przed znanymi wzorcami ataków.
Benchmarking dokładności
Ustal bazowe metryki dokładności zgodne z zadeklarowanymi poziomami. Śledź dokładność w wersjach modelu, zestawach danych i środowiskach wdrożeniowych, aby wykrywać degradację.
Redundancja i projekt fail-safe
Zbuduj mechanizmy zapasowe dla krytycznych ścieżek systemu. Wdróż modele zapasowe, monitory bezpieczeństwa i wyzwalacze human-in-the-loop, gdy pewność spada poniżej progów.
Bezpieczeństwo łańcucha dostaw modelu
Skanuj zależności, modele bazowe i zestawy danych treningowych pod kątem podatności. Weryfikuj pochodzenie modeli zewnętrznych i waliduj integralność pipeline'ów treningowych.
Kompromis dokładność-odporność
Optymalizacja pod kątem dokładności benchmarków może zmniejszyć odporność adversarial. Dostawcy muszą równoważyć cele wydajnościowe z wymaganiami bezpieczeństwa i dokumentować decyzje projektowe nawigujące ten kompromis.
Często zadawane pytania
Powiązane artykuły
Artykuł 9: Zarządzanie ryzykiem
Wymagania dotyczące dokładności i odporności zasilają system ciągłego zarządzania ryzykiem wymagany przez artykuł 9.
Artykuł 10: Zarządzanie danymi
Jakość i pochodzenie danych zgodnie z artykułem 10 bezpośrednio wpływają na dokładność, odporność i odporność na ataki zatruwania.
Artykuł 11: Dokumentacja techniczna
Wszystkie metryki dokładności, testy odporności i środki cyberbezpieczeństwa muszą być udokumentowane w pakiecie dokumentacji technicznej.
Jak pomaga Scanara
Scanara automatyzuje zgodność z EU AI Act od kodu do dossier. Połącz swoje repozytoria GitHub i otrzymaj raporty zgodności w kilka minut.