Shadow AI: costruire un inventario dei sistemi IA
Come individuare i sistemi di IA della Sua organizzazione e registrarli in un unico registro: cinque passaggi, un modello di registro e gli obblighi degli articoli 4, 26 e 49.
Il regolamento sull’IA non contiene alcun articolo che imponga un inventario dei sistemi di IA, ma diversi obblighi sono difficili da rispettare senza.
Fornitori e deployer devono adottare misure per promuovere l’alfabetizzazione in materia di IA del proprio personale (articolo 4). Ciò vale dal 2 febbraio 2025. I deployer di sistemi ad alto rischio devono adottare misure adeguate per usarli secondo le istruzioni per l’uso. Ciò vale dal 2 dicembre 2027 (allegato III) o dal 2 agosto 2028 (allegato I). Le violazioni dell’articolo 26 arrivano a 15 milioni di EUR o al 3 % del fatturato mondiale annuo, se superiore (articolo 99(4)). Per prima cosa, elenchi ogni sistema di IA in uso.
Tre degli obblighi presuppongono che Lei conosca i Suoi sistemi di IA
Alfabetizzazione in materia di IA (articolo 4)
I fornitori e i deployer di sistemi di IA adottano misure per sviluppare l’alfabetizzazione in materia di IA del proprio personale e di altre persone che gestiscono e usano sistemi di IA per loro conto, tenendo conto del contesto. L’obbligo non impone di garantire un livello specifico a ciascuna persona.
Obblighi del deployer (articolo 26)
I deployer di sistemi di IA ad alto rischio adottano misure tecniche e organizzative adeguate per usarli secondo le istruzioni per l’uso, affidano la sorveglianza umana a persone con la competenza, la formazione e l’autorità necessarie e monitorano il funzionamento del sistema (articolo 26, paragrafi 1, 2 e 5).
Registrazione (articolo 49)
I fornitori registrano nella banca dati dell’UE i sistemi ad alto rischio dell’allegato III, e quelli che ritengono non ad alto rischio ai sensi dell’articolo 6, paragrafo 3, prima di immetterli sul mercato o metterli in servizio. I sistemi per il contrasto e la migrazione (allegato III, punti 1, 6 e 7) vanno in una sezione non pubblica, e quelli per le infrastrutture critiche (punto 2) sono registrati a livello nazionale. I deployer che sono autorità pubbliche, istituzioni, organi o organismi dell’Unione, o persone che agiscono per loro conto, registrano il proprio uso (articolo 49, paragrafo 3).
L’articolo 2 limita l’ambito di applicazione. Ai sistemi di IA classificati ad alto rischio ai sensi dell’articolo 6, paragrafo 1, relativi a prodotti dell’allegato I, sezione B, si applicano solo l’articolo 6, paragrafo 1, l’articolo 60 bis e gli articoli da 102 a 112, quindi non l’articolo 4. Il regolamento esclude inoltre i sistemi usati esclusivamente per scopi militari, di difesa o di sicurezza nazionale, i sistemi di ricerca e l’uso privato non professionale (articolo 2, paragrafi 2, 3, 6, 8 e 10).
Cosa è un sistema di IA e cosa no
Il regolamento definisce un sistema di IA come un sistema automatizzato progettato per funzionare con livelli di autonomia variabili che deduce dall’input come generare output quali previsioni, contenuti, raccomandazioni o decisioni (articolo 3, punto 1). I sistemi basati solo su regole definite da persone fisiche non sono coperti (considerando 12).
Servizi di IA chiamati tramite API
Il Suo codice richiama un modello di IA tramite API. Un sistema di IA è in uso anche se un fornitore gestisce il modello. Lo registri e annoti chi è il fornitore e chi il deployer.
Modelli preaddestrati integrati
Un file di modello proveniente da un hub pubblico di modelli viene eseguito nella Sua applicazione, ad esempio per la classificazione o la moderazione dei contenuti. Registri il modello e la sua origine.
Strumenti SaaS con funzioni di IA
Assistenti di scrittura, scoring nel CRM e assistenti di codice ne sono esempi. Usare uno strumento simile per una finalità dell’allegato III, come preselezionare candidati, può renderLa deployer di un sistema ad alto rischio, a meno che non si applichi l’eccezione dell’articolo 6, paragrafo 3.
Funzioni di scoring, raccomandazione e filtraggio
Sono sistemi di IA solo se deducono output dai dati di input. Un insieme fisso di regole scritte da persone non è un sistema di IA. Verifichi quale ha.
Cinque passaggi per costruire l’inventario
Analizzi il Suo codice
Cominci dall’individuazione nel codice: cerchi in tutti i repository importazioni legate all’IA, chiamate API, file di modelli e configurazioni.
- Cercare importazioni di framework di ML (ad esempio tensorflow, torch, sklearn, transformers)
- Individuare chiamate API di IA (ad esempio openai, anthropic, google.ai, azure.cognitiveservices)
- Trovare file di modelli (ad esempio .pb, .pt, .onnx, .h5, .pkl, .safetensors)
- Trovare file di configurazione di IA, come configurazioni di modelli e modelli di prompt
- Cercare l’uso di embedding e database vettoriali (ad esempio pinecone, weaviate, chromadb)
Interpelli i Suoi team
La scansione del codice trova l’IA presente nel codice e non vede quella pianificata, sperimentale o basata su SaaS. Chieda a ogni team del resto.
- Inviare un breve questionario ai team di ingegneria, prodotto e business
- Chiedere delle funzioni di IA negli strumenti SaaS in uso
- Individuare progetti di IA sperimentali o di prova di concetto
- Documentare gli strumenti di IA usati nei processi interni, come la selezione del personale, l’assistenza clienti e le analisi
- Mappare i rapporti con i fornitori che comportano servizi di IA o ML
Classifichi ogni sistema
Per ogni sistema, verifichi in quest’ordine quali regole si applicano e annoti il ragionamento.
- Verificare le pratiche vietate dell’articolo 5
- Verificare il percorso dell’allegato I e le 8 aree dell’allegato III (articolo 6)
- Verificare l’eccezione dell’articolo 6, paragrafo 3, ove applicabile
- Verificare se è coinvolto un modello di IA per finalità generali (articolo 3, punto 63)
- Verificare gli obblighi di trasparenza dell’articolo 50
- Documentare il ragionamento per ogni sistema
Tenga un unico registro
Crei un unico registro di tutti i sistemi di IA. È la base per gli obblighi degli articoli 4, 26 e 49 e per le richieste delle autorità.
- Assegnare un identificativo univoco a ogni sistema di IA
- Registrare il fornitore, il deployer e la persona responsabile
- Registrare la classificazione e il ragionamento
- Tenere traccia degli obblighi ancora aperti per ogni sistema
- Collegare la documentazione tecnica (allegato IV) ove applicabile
- Conservare la cronologia delle versioni e le registrazioni delle modifiche
Lo mantenga aggiornato
Un inventario è utile solo se resta aggiornato. Registri i nuovi sistemi di IA e le modifiche che possono cambiare la classificazione.
- Aggiungere un controllo dell’inventario di IA alla revisione del codice e alle pull request
- Richiedere la registrazione di un sistema di IA prima del passaggio in produzione
- Cercare nuove dipendenze di IA nella CI/CD
- Rivedere l’inventario con le parti interessate ogni trimestre
- Definire chi decide quando un nuovo sistema può essere ad alto rischio
- Formare i team di sviluppo a individuare e segnalare i sistemi di IA
Un possibile registro: dieci campi (nostro suggerimento)
| Campo | Descrizione | Esempio |
|---|---|---|
| ID del sistema | Identificativo univoco | AI-SYS-001 |
| Nome del sistema | Nome usato internamente | Assistente di preselezione dei CV |
| Fornitore | Chi ha sviluppato il sistema | Nome del fornitore o team interno |
| Il Suo ruolo | Fornitore, deployer o entrambi | Deployer |
| Classificazione | Esito della Sua classificazione, con ragionamento | Alto rischio, allegato III, punto 4, lettera a |
| Finalità prevista | A cosa serve il sistema | Ordina le candidature |
| Stato di impiego | Fase attuale del ciclo di vita | In produzione |
| Dati trattati | Tipi di dati trattati | CV e moduli di candidatura |
| Persona responsabile | Responsabile interno degli obblighi | Direzione del personale |
| Obblighi aperti | Cosa resta da fare | Richiedere le istruzioni per l’uso |
Domande frequenti sull’inventario dell’IA
Il regolamento sull’IA impone un inventario dei sistemi di IA?
Nessun articolo impone un inventario come documento. Diversi obblighi presuppongono che si conoscano i propri sistemi di IA: l’alfabetizzazione in materia di IA di fornitori e deployer (articolo 4), gli obblighi dei deployer di sistemi ad alto rischio (articolo 26) e la registrazione nella banca dati dell’UE (articolo 49). Il fornitore che ritiene non ad alto rischio un sistema dell’allegato III deve documentare tale valutazione e registrare il sistema (articolo 6, paragrafo 4, e articolo 49, paragrafo 2).
Come tratto i sistemi di IA già in produzione?
Cominci dai sistemi che potrebbero essere vietati (articolo 5) o ad alto rischio (articolo 6). Registri ogni sistema, lo classifichi e annoti il suo fornitore. Il regolamento ha dei limiti: esclude l’uso militare, la ricerca e l’uso puramente privato (articolo 2, paragrafi 3, 6, 8 e 10), e alcuni divieti si applicano solo più tardi (articolo 113, lettera a). Un sistema ad alto rischio immesso sul mercato o messo in servizio prima della data di applicazione è coperto solo se in seguito subisce modifiche significative della progettazione. In ogni caso, i fornitori e i deployer di sistemi di IA ad alto rischio destinati a essere utilizzati da autorità pubbliche devono adottare le misure necessarie per conformarsi entro una data successiva (articolo 111, paragrafo 2)
Devo includere nell’inventario gli strumenti di IA per i dipendenti?
Sì. L’articolo 4 riguarda i sistemi di IA che il personale gestisce e usa, siano o no ad alto rischio. L’allegato III, punto 4, elenca usi nell’occupazione, come assunzione e selezione, decisioni sulle condizioni di lavoro, assegnazione dei compiti e monitoraggio di prestazioni e comportamento.
Da leggere dopo: classificazione e documentazione
Il mio sistema IA è ad alto rischio? Un albero decisionale
Percorre le domande che decidono se un sistema di IA è vietato, ad alto rischio o nessuno dei due.
Allegato III in dettaglio: le 8 categorie ad alto rischio
Elenca le 8 aree i cui sistemi di IA sono ad alto rischio, con esempi tratti dal testo dell’allegato.
Documentazione tecnica dell’allegato IV: i nove punti
Mostra i nove punti di documentazione di cui ha bisogno un sistema ad alto rischio.
Scanara prepara evidenze dai vostri repository
Scanara legge i vostri repository GitHub collegati ed esegue scansioni basate su regole per individuare pattern comuni di IA e machine learning. Può non rilevare il codice non standard. Separatamente genera bozze di documentazione a partire da modelli e dalle vostre risposte alle valutazioni, come evidenze per il vostro lavoro di conformità. La classificazione la decidete voi.