Articolo 15 regolamento IA: accuratezza, robustezza e cibersicurezza
L’articolo 15 richiede ai sistemi di IA ad alto rischio un’adeguata accuratezza, robustezza e cibersicurezza. Questa guida tratta i requisiti e i modi comuni per testarli.
I fornitori devono progettare i sistemi di IA ad alto rischio per un adeguato livello di accuratezza, robustezza e cibersicurezza (articolo 15).
Il livello deve valere per tutto il ciclo di vita del sistema. I fornitori devono dichiarare i livelli e le metriche di accuratezza nelle istruzioni per l’uso (articolo 15(3)). Questo riguarda i sistemi immessi sul mercato o messi in servizio nell’UE. Si applica dal 2 dicembre 2027 (allegato III) e dal 2 agosto 2028 (allegato I). Le sanzioni arrivano a 15 milioni di EUR o al 3 % del fatturato mondiale annuo, se superiore (articolo 99(4)). Prossimo passo: scegliere le metriche di accuratezza e testarle.
L’articolo 15 in cinque punti
L’articolo 15(1) richiede un adeguato livello di accuratezza, robustezza e cibersicurezza e prestazioni coerenti durante tutto il ciclo di vita. I cinque punti seguenti raggruppano i paragrafi da 3 a 5. Il regolamento fissa obiettivi, non metodi di prova né soglie. La Commissione incoraggia lo sviluppo di parametri di riferimento e metodologie di misurazione con le autorità di metrologia e di analisi comparativa (articolo 15(2)).
Livelli e metriche di accuratezza dichiarati
Dichiari i livelli di accuratezza e le metriche di accuratezza pertinenti nelle istruzioni per l’uso (articolo 15(3)).
Resilienza a errori e guasti
Renda il sistema il più resiliente possibile rispetto a errori, guasti o incongruenze nel sistema o nel suo ambiente, anche a causa dell’interazione con persone o altri sistemi. Adotti misure tecniche e organizzative; la ridondanza tecnica, come piani di backup o fail-safe, può garantire la robustezza (articolo 15(4)).
Controllo dei circuiti di feedback
Se il sistema continua ad apprendere dopo l’immissione sul mercato o la messa in servizio, elimini o riduca il più possibile il rischio che output distorti influenzino input futuri (circuiti di feedback). Affronti questi circuiti con misure di attenuazione (articolo 15(4)).
Resilienza nei confronti di terzi non autorizzati
Il sistema deve resistere ai tentativi di terzi non autorizzati di modificarne l’uso, gli output o le prestazioni sfruttando le vulnerabilità. Le soluzioni di cibersicurezza devono essere adeguate alle circostanze e ai rischi (articolo 15(5)).
Misure contro gli attacchi specifici dell’IA
Preveda, ove opportuno, misure per prevenire, accertare, rispondere, risolvere e controllare gli attacchi e i difetti che l’articolo 15(5) indica. Sono l’avvelenamento dei dati (dati di addestramento manipolati), l’avvelenamento dei modelli (componenti preaddestrati manipolati), gli esempi antagonistici o l’evasione dal modello (input progettati per provocare errori), gli attacchi alla riservatezza e i difetti del modello.
Quattro passi tecnici a sostegno dell’articolo 15
L’articolo 15 non prescrive alcun metodo di prova. Questi passi sono modi comuni per dimostrare il rispetto dei requisiti.
Test avversariali nella CI
Esegua test di robustezza avversariali nella pipeline CI/CD: generi esempi antagonistici, provi i limiti del modello e verifichi le difese contro schemi di attacco noti.
Benchmark dell’accuratezza
Misuri l’accuratezza con le metriche dichiarate, per ogni versione del modello, set di dati e ambiente di distribuzione, per rilevare i peggioramenti.
Ridondanza e progettazione fail-safe
Costruisca alternative per i percorsi critici: modelli di riserva, monitor di sicurezza e passaggio a una persona quando la confidenza scende sotto una soglia da lei fissata.
Sicurezza della catena di fornitura del modello
Analizzi dipendenze e modelli di base alla ricerca di vulnerabilità e verifichi la provenienza dei modelli esterni e l’integrità delle pipeline di addestramento.
Le istruzioni per l’uso indicano il livello testato e quello atteso
Le istruzioni per l’uso devono indicare il livello di accuratezza, robustezza e cibersicurezza con cui il sistema è stato testato e convalidato e che ci si può attendere. Devono indicare anche le circostanze note che possono influenzarlo (articolo 13(3), lettera b), punto ii)). Conservi i risultati dei test che sostengono ogni livello dichiarato.
L’articolo 15 si applica solo ai sistemi di IA ad alto rischio
Un sistema è ad alto rischio se rientra in un settore dell’allegato III, salvo che si applichi un’esenzione dell’articolo 6(3). Un sistema che effettua la profilazione di persone fisiche è sempre ad alto rischio. Lo è anche se è un prodotto dell’allegato I che richiede una valutazione della conformità da parte di terzi, o un suo componente di sicurezza (articolo 6). I fornitori sono coperti quando immettono un sistema sul mercato dell’UE o lo mettono in servizio nell’UE, ovunque siano stabiliti (articolo 2(1), lettera a)). Anche i fornitori e i deployer di paesi terzi sono coperti quando l’output del sistema è utilizzato nell’UE (articolo 2(1), lettera c)). I sistemi ad alto rischio legati a prodotti disciplinati dalla normativa dell’allegato I, sezione B, sono esclusi da l’articolo 15 (articolo 2(2)). Per i prodotti dell’allegato I, sezione A, alcuni requisiti possono essere limitati (articolo 2(13)). Ciò riguarda gli articoli da 9 a 15 e da 17 a 25, se la normativa settoriale offre una protezione equivalente o superiore. Gli atti delegati attesi entro il 2 agosto 2027 preciseranno quali. Il regolamento esclude gli usi militari, di difesa e di sicurezza nazionale e i sistemi sviluppati unicamente per la ricerca scientifica (articolo 2(3) e (6)). Esclude anche la ricerca e le prove prima dell’immissione sul mercato (articolo 2(8)). I sistemi già immessi sul mercato o in servizio prima della data di applicazione sono coperti solo dopo modifiche significative della progettazione. In ogni caso, i fornitori e i deployer di sistemi di IA ad alto rischio destinati a essere utilizzati da autorità pubbliche devono adottare le misure necessarie per conformarsi entro il 2 agosto 2030 (articolo 111(2)).
Domande frequenti: soglie, test, certificazione e sanzioni
Quale soglia di accuratezza è «adeguata»?
Il regolamento non indica alcun numero e non dice quale livello sia adeguato per quale uso. Richiede un livello adeguato, dichiarato con le sue metriche nelle istruzioni per l’uso (articolo 15(1) e (3)). Indichi la metrica che usa e il risultato che ha misurato.
Serve un red teaming formale?
No. L’articolo 15 non indica alcun metodo di prova. L’articolo 15(5) richiede misure contro attacchi come l’avvelenamento dei dati e gli esempi antagonistici, e i test avversariali sono un modo per dimostrare che tali misure funzionano.
Come si prova la robustezza nella pratica?
I metodi comuni sono l’iniezione di guasti, la generazione di esempi antagonistici, i test dei limiti e gli scenari di degrado. Usano input corrotti, variazioni di distribuzione e casi limite. L’articolo 15 non ne indica nessuno. Scelga metodi adatti ai rischi individuati ai sensi dell’articolo 9.
Le certificazioni o le norme di cibersicurezza esistenti coprono l’articolo 15?
Solo in due casi definiti. Si presume che un sistema sia conforme ai requisiti di cibersicurezza dell’articolo 15 (articolo 42(2)). Occorre che sia certificato nell’ambito di uno schema di cibersicurezza ai sensi del regolamento (UE) 2019/881, o che sia stata rilasciata una dichiarazione di conformità. Ciò vale se i riferimenti dello schema sono pubblicati nella Gazzetta ufficiale, e solo nella misura in cui il certificato o la dichiarazione li copre. I sistemi che rientrano nell’ambito del Cyber Resilience Act (regolamento (UE) 2024/2847) e soddisfano le condizioni del suo articolo 12(1) sono considerati conformi (articolo 42(3)). Entrambi riguardano solo la cibersicurezza, non l’accuratezza né la robustezza.
Quale documentazione è attesa per accuratezza e robustezza?
Dichiari livelli e metriche di accuratezza nelle istruzioni per l’uso (articolo 15(3)). La documentazione tecnica deve inoltre descrivere le procedure di convalida e di prova e le metriche di accuratezza e robustezza. Contiene anche i rapporti di prova e le misure di cibersicurezza (allegato IV, punto 2, lettere g) e h)).
Quali sono le sanzioni e il limite è più basso per le PMI?
Per i fornitori (articolo 16) e i deployer (articolo 26), le sanzioni arrivano fino a 15 milioni di EUR o al 3 % del fatturato mondiale annuo, se superiore (articolo 99(4)). Per le PMI, comprese le start-up, e per le piccole imprese a media capitalizzazione il limite è il minore dei due importi (articolo 99(6) e (6 bis)). Gli Stati membri stabiliscono le norme sulle sanzioni (articolo 99(1)).
Da leggere dopo: come l’articolo 15 si collega agli articoli 9, 10, 11 e 13
Articolo 9: gestione dei rischi
Scelga metodi di prova adatti ai rischi che individua nel sistema di gestione dei rischi.
Articolo 10: dati e governance dei dati
L’articolo 10 fissa regole di qualità per i dati di addestramento, convalida e prova.
Articolo 11: documentazione tecnica
La documentazione tecnica registra le procedure di convalida e prova, le metriche di accuratezza e le misure di cibersicurezza (allegato IV).
Articolo 13: trasparenza
Le istruzioni per l’uso devono indicare i livelli dichiarati di accuratezza, robustezza e cibersicurezza.
Scanara prepara evidenze dai vostri repository
Scanara legge i vostri repository GitHub collegati ed esegue scansioni basate su regole per individuare pattern comuni di IA e machine learning. Può non rilevare il codice non standard. Separatamente genera bozze di documentazione a partire da modelli e dalle vostre risposte alle valutazioni, come evidenze per il vostro lavoro di conformità. La classificazione la decidete voi.