Articolo 15: accuratezza e robustezza dei sistemi autonomi
Come accuratezza, robustezza e cibersicurezza dell'articolo 15 dell'EU AI Act si applicano all'IA autonoma — percezione, resilienza avversaria, ridondanza e rilevamento ODD.
L'articolo 15 dell'EU AI Act richiede che i sistemi di IA ad alto rischio raggiungano livelli adeguati di accuratezza, robustezza e cibersicurezza durante l'intero ciclo di vita. Nei sistemi autonomi, i guasti di accuratezza sono guasti di sicurezza — un sistema di percezione che classifica erroneamente un pedone o non rileva un segnale di stop sotto la pioggia può avere conseguenze fatali. Ai sensi dell'allegato III, sezione 2, i sistemi di IA destinati a essere utilizzati come componenti di sicurezza nella gestione e nel funzionamento del traffico stradale e della fornitura di acqua, gas, riscaldamento ed elettricità sono classificati come ad alto rischio.
Questa pagina spiega come gli obblighi di accuratezza, robustezza e cibersicurezza dell'articolo 15 si applichino specificamente ai sistemi autonomi — dai veicoli a guida autonoma ai droni autonomi — compresa l'accuratezza della percezione in condizioni avverse, la resilienza agli input avversari, i requisiti di ridondanza, il rilevamento delle condizioni fuori distribuzione e quali violazioni a livello di codice Scanara rileva nei sistemi di IA autonomi.
Metriche di accuratezza per i sistemi di IA autonomi
Accuratezza della percezione in condizioni meteorologiche avverse
L'accuratezza del rilevamento e della classificazione degli oggetti deve essere convalidata in condizioni di pioggia, neve, nebbia, abbagliamento e scarsa illuminazione. Effettuare test solo su dati con tempo sereno non è conforme all'articolo 15. Le metriche di accuratezza devono essere dichiarate per condizione meteorologica, e il sistema deve gestire una percezione degradata in modo controllato anziché fallire in modo silenzioso.
Precisione media (mAP) per classe di oggetto
L'accuratezza del rilevamento deve essere riportata per classe di oggetto — pedoni, ciclisti, veicoli, segnali stradali, segnaletica orizzontale. Un mAP aggregato che maschera uno scarso rilevamento dei pedoni non è conforme. Gli utenti vulnerabili della strada (pedoni, ciclisti) devono soddisfare le soglie di accuratezza più elevate.
Accuratezza della localizzazione
Oltre a rilevare gli oggetti, il sistema deve localizzarli con precisione nello spazio 3D. Un sistema che rileva un pedone ma lo colloca a 2 metri dalla sua posizione effettiva non ha soddisfatto un requisito di accuratezza critico per la sicurezza. L'accuratezza della localizzazione deve essere convalidata per diversi tipi di sensori e condizioni ambientali.
Accuratezza della fusione dei sensori
I sistemi autonomi combinano tipicamente input di telecamere, LiDAR e radar. L'accuratezza ai sensi dell'articolo 15 deve tenere conto della pipeline di percezione fusa, compresa l'accuratezza quando i singoli sensori si degradano o divergono. Il sistema deve dichiarare come cambia l'accuratezza operando con disponibilità parziale dei sensori.
Accuratezza della previsione e della pianificazione
Oltre alla percezione, devono essere convalidate la previsione della traiettoria (prevedere i percorsi futuri degli altri utenti della strada) e l'accuratezza della pianificazione del percorso. Un sistema con un eccellente rilevamento degli oggetti ma una scarsa previsione della traiettoria rappresenta comunque un rischio per la sicurezza. L'articolo 15 copre l'intera pipeline decisionale.
Principali obblighi di accuratezza & robustezza per i sistemi autonomi
L'articolo 15 richiede che i sistemi di IA ad alto rischio siano resilienti a errori, guasti e incoerenze. Nei sistemi autonomi, ciò include la robustezza contro le manipolazioni avversarie dei segnali stradali, la degradazione dei sensori e il funzionamento al di fuori dell'inviluppo di prestazioni convalidato.
Resilienza agli input avversari
La ricerca ha dimostrato che adesivi avversari sui segnali stradali possono causare una classificazione errata e che una segnaletica orizzontale avversaria può causare l'uscita di corsia. L'articolo 15 richiede specificamente la resilienza contro input progettati per aggirare il sistema. I sistemi autonomi devono essere testati contro i vettori di attacco avversari noti.
Ridondanza per le funzioni critiche per la sicurezza
Le funzioni di percezione critiche per la sicurezza devono disporre di sistemi ridondanti con modalità di guasto indipendenti. Se il rilevatore di pedoni basato su telecamera si guasta, un rilevatore indipendente basato su LiDAR dovrebbe fornire una riserva di sicurezza. La robustezza ai sensi dell'articolo 15 richiede che nessun singolo punto di guasto possa compromettere le funzioni critiche per la sicurezza.
Rilevamento del superamento del dominio operativo di progetto (ODD)
Il sistema deve rilevare quando opera al di fuori del suo inviluppo di prestazioni convalidato. Un sistema addestrato per la guida in autostrada che entra in un ambiente urbano senza dichiarare la limitazione ha superato il suo ODD. L'articolo 15 richiede che il sistema riconosca le condizioni fuori distribuzione e vi risponda in modo sicuro.
Degradazione controllata in caso di guasto del sensore
Quando i singoli sensori si guastano o si degradano, il sistema deve mantenere una capacità di sicurezza minima definita o passare a uno stato sicuro. L'articolo 15 richiede la resilienza ai guasti — un sistema che si blocca o si comporta in modo imprevedibile quando un singolo sensore si guasta non è robusto.
Sovrapposizioni normative
I requisiti di accuratezza e robustezza dei sistemi autonomi si intersecano con la sicurezza funzionale automobilistica, la sicurezza della funzionalità prevista e le normative internazionali sui veicoli. La sola conformità all'articolo 15 è insufficiente — questi obblighi sovrapposti devono essere affrontati congiuntamente.
ISO 26262 — Sicurezza funzionale automobilistica (ASIL)
La ISO 26262 definisce gli Automotive Safety Integrity Levels (da ASIL A a D) per i sistemi legati alla sicurezza. I componenti di percezione basati su IA nei veicoli autonomi devono soddisfare il livello ASIL adeguato alla loro criticità per la sicurezza. I requisiti di accuratezza dell'articolo 15 devono essere integrati con i processi di convalida della sicurezza ISO 26262.
ISO 21448 — Safety of the Intended Functionality (SOTIF)
La SOTIF affronta i rischi per la sicurezza derivanti da insufficienze funzionali nella funzionalità prevista, comprese le limitazioni della percezione. I requisiti di accuratezza e robustezza dell'articolo 15 si allineano direttamente all'obiettivo della SOTIF di garantire che il sistema funzioni in sicurezza in tutte le sue condizioni operative previste.
UNECE WP.29 Regulations
Le normative ONU per la guida automatizzata (WP.29) stabiliscono requisiti di prestazione per il mantenimento automatizzato della corsia, i sistemi di guida automatizzata e la cibersicurezza. I requisiti dell'articolo 15 integrano il WP.29 aggiungendo obblighi di accuratezza e robustezza specifici per l'IA al quadro esistente di omologazione dei veicoli.
Euro NCAP Safety Ratings
Euro NCAP valuta sempre più le funzioni di assistenza alla guida basate su IA e di guida automatizzata nelle sue valutazioni di sicurezza. La convalida dell'accuratezza dell'articolo 15 può avvalersi dei protocolli di prova Euro NCAP come prova della convalida delle prestazioni, sebbene Euro NCAP da solo non costituisca la piena conformità all'articolo 15.
Violazioni comuni rilevate da Scanara
Accuratezza di percezione solo aggregata senza stratificazione per condizione
Pipeline di valutazione che calcolano solo il mAP complessivo senza stratificazione per condizione meteorologica, illuminazione, classe di oggetto e configurazione dei sensori. Scanara segnala il codice di valutazione privo di metriche stratificate per condizione — effettuare test solo su dati con tempo sereno non è conforme.
Nessun test di robustezza avversaria nella pipeline di CI
Pipeline CI/CD prive di test di robustezza avversaria per gli input di percezione. Scanara segnala i flussi di valutazione che non effettuano test contro le modifiche avversarie dei segnali stradali, la segnaletica orizzontale avversaria o altri vettori di attacco noti che prendono di mira i sistemi di percezione autonomi.
Distribuito senza rilevamento fuori distribuzione
Modelli di percezione distribuiti senza meccanismi per rilevare il superamento dell'ODD o gli input fuori distribuzione. Scanara rileva le pipeline di inferenza prive di rilevamento dello scostamento della distribuzione, di soglie di confidenza per le transizioni verso lo stato sicuro o di monitoraggio dei confini dell'ODD.
Metriche di prestazione non incluse nella documentazione di sicurezza
Distribuzioni in cui l'accuratezza di percezione per condizione, i risultati di robustezza avversaria e i confini dell'ODD non sono inclusi nel fascicolo di sicurezza o nelle istruzioni per l'uso. L'articolo 15 richiede che i livelli di accuratezza e le metriche di prestazione attese siano dichiarati nella documentazione di accompagnamento.
Lista di controllo della conformità all'articolo 15 per i sistemi autonomi
Raggiungere un'accuratezza di percezione stratificata per condizione
Convalidare l'accuratezza della percezione in base alle condizioni meteorologiche, all'illuminazione, alle classi di oggetti e alle configurazioni dei sensori. Dichiarare tutte le metriche nel fascicolo di sicurezza e nelle istruzioni per l'uso.
Garantire la robustezza con la ridondanza
Implementare sistemi di percezione ridondanti con modalità di guasto indipendenti per le funzioni critiche per la sicurezza. Testare la degradazione controllata in caso di guasto del sensore e documentare le capacità di sicurezza minime.
Implementare la resilienza agli input avversari
Testare contro le modifiche avversarie dei segnali stradali, la segnaletica orizzontale avversaria e altri vettori di attacco noti. Includere i test avversari nella pipeline CI/CD e documentare le soglie di resilienza.
Mantenere la cibersicurezza dei sistemi di IA dei veicoli
Proteggere i modelli di percezione, le pipeline di dati dei sensori e gli algoritmi di controllo contro le modifiche non autorizzate. Implementare controlli di integrità, avvio sicuro e sicurezza degli aggiornamenti over-the-air per tutti i componenti di IA.
Implementare il rilevamento del superamento dell'ODD
Distribuire meccanismi per rilevare quando il sistema opera al di fuori del suo inviluppo di prestazioni convalidato. Implementare transizioni verso lo stato sicuro quando i confini dell'ODD vengono superati o vengono rilevate condizioni fuori distribuzione.
Domande frequenti
Risorse correlate
Articolo 15: Accuratezza e robustezza
Requisiti completi dell'articolo 15 in tutti i settori.
IA dei sistemi autonomi — Hub di settore
Guida completa alla conformità all'EU AI Act per i sistemi di IA autonomi.
Articolo 14: Sorveglianza umana per i sistemi autonomi
Requisiti di sorveglianza umana per i sistemi di IA autonomi.
Articolo 15: Accuratezza per le infrastrutture critiche
Requisiti di accuratezza e robustezza per l'IA delle infrastrutture critiche.
Come aiuta Scanara
Scanara automatizza la conformità al Regolamento sull'IA dal codice al dossier. Connetti i tuoi repo GitHub e ottieni report di conformità in pochi minuti.