Shadow AI: como criar um inventário de sistemas de IA
Como encontrar os sistemas de IA da sua organização e registá-los num único registo: cinco passos, um modelo de registo e as obrigações dos artigos 4.º, 26.º e 49.º.
O Regulamento de IA não tem nenhum artigo que exija um inventário de sistemas de IA, mas várias obrigações são difíceis de cumprir sem um.
Fornecedores e responsáveis pela implantação devem tomar medidas para promover a literacia em IA do seu pessoal (artigo 4.º). Aplica-se desde 2 de fevereiro de 2025. Os responsáveis pela implantação de sistemas de risco elevado devem tomar medidas adequadas para os utilizar de acordo com as instruções de utilização. Aplica-se a partir de 2 de dezembro de 2027 (anexo III) ou de 2 de agosto de 2028 (anexo I). As infrações ao artigo 26.º chegam a 15 milhões de EUR ou 3 % do volume de negócios anual mundial. Aplica-se o valor mais elevado (artigo 99(4)). Primeiro passo: liste cada sistema de IA em utilização.
Três das obrigações pressupõem que conhece os seus sistemas de IA
Literacia em IA (artigo 4.º)
Os fornecedores e os responsáveis pela implantação de sistemas de IA tomam medidas para promover a literacia em IA do seu pessoal e de outras pessoas que operam e utilizam sistemas de IA em seu nome, tendo em conta o contexto. A obrigação não exige a garantia de um nível específico a nenhuma pessoa.
Obrigações do responsável pela implantação (artigo 26.º)
Os responsáveis pela implantação de sistemas de IA de risco elevado tomam medidas técnicas e organizativas adequadas para os utilizar de acordo com as instruções de utilização, confiam a supervisão humana a pessoas com a competência, a formação e a autoridade necessárias e acompanham o funcionamento do sistema (artigo 26.º, n.os 1, 2 e 5).
Registo (artigo 49.º)
Os fornecedores registam na base de dados da UE os sistemas de risco elevado do anexo III, e os que consideram não ser de risco elevado nos termos do artigo 6.º, n.º 3, antes de os colocarem no mercado ou em serviço. Os sistemas de aplicação da lei e migração (anexo III, pontos 1, 6 e 7) vão para uma secção não pública, e os de infraestruturas críticas (ponto 2) são registados a nível nacional. Os responsáveis pela implantação que sejam autoridades públicas, instituições, órgãos ou organismos da União, ou pessoas que atuem em seu nome, registam a sua utilização (artigo 49.º, n.º 3).
O artigo 2.º limita o âmbito de aplicação. Aos sistemas de IA classificados como de risco elevado nos termos do artigo 6.º, n.º 1, relativos a produtos do anexo I, secção B, aplicam-se apenas o artigo 6.º, n.º 1, o artigo 60.º-A e os artigos 102.º a 112.º, pelo que não se aplica o artigo 4.º. O regulamento exclui ainda os sistemas utilizados exclusivamente para fins militares, de defesa ou de segurança nacional, os sistemas de investigação e a utilização privada não profissional (artigo 2.º, n.os 2, 3, 6, 8 e 10).
O que é um sistema de IA e o que não é
O regulamento define um sistema de IA como um sistema baseado em máquina concebido para funcionar com diferentes níveis de autonomia e que infere, a partir dos dados de entrada, como gerar resultados como previsões, conteúdos, recomendações ou decisões (artigo 3.º, ponto 1). Os sistemas baseados apenas em regras definidas por pessoas singulares não estão abrangidos (considerando 12).
Serviços de IA chamados por API
O seu código chama um modelo de IA através de uma API. Está em utilização um sistema de IA, mesmo que um fornecedor execute o modelo. Registe-o e anote quem é o fornecedor e quem é o responsável pela implantação.
Modelos pré-treinados integrados
Um ficheiro de modelo de um repositório público de modelos é executado na sua aplicação, por exemplo para classificação ou moderação de conteúdos. Registe o modelo e a sua origem.
Ferramentas SaaS com funções de IA
Os assistentes de escrita, a pontuação em CRM e os assistentes de código são exemplos. Usar uma ferramenta destas para uma finalidade do anexo III, como a pré-seleção de candidatos, pode torná-lo responsável pela implantação de um sistema de risco elevado, salvo se se aplicar a exceção do artigo 6.º, n.º 3.
Funções de pontuação, recomendação e filtragem
São sistemas de IA apenas se inferirem resultados a partir dos dados de entrada. Um conjunto fixo de regras escritas por pessoas não é um sistema de IA. Verifique qual deles tem.
Cinco passos para criar o inventário
Analise o seu código
Comece pela descoberta no código: pesquise em todos os repositórios importações relacionadas com IA, chamadas de API, ficheiros de modelos e configuração.
- Procure importações de frameworks de ML (por exemplo tensorflow, torch, sklearn, transformers)
- Identifique chamadas de API de IA (por exemplo openai, anthropic, google.ai, azure.cognitiveservices)
- Encontre ficheiros de modelos (por exemplo .pb, .pt, .onnx, .h5, .pkl, .safetensors)
- Encontre ficheiros de configuração de IA, como configurações de modelos e modelos de prompts
- Procure a utilização de embeddings e bases de dados vetoriais (por exemplo pinecone, weaviate, chromadb)
Pergunte às suas equipas
A análise de código encontra a IA que aparece no código e não deteta a IA planeada, experimental ou baseada em SaaS. Pergunte a cada equipa pelo resto.
- Enviar um questionário curto às equipas de engenharia, produto e negócio
- Perguntar pelas funções de IA nas ferramentas SaaS em uso
- Identificar projetos de IA experimentais ou de prova de conceito
- Documentar as ferramentas de IA usadas em processos internos, como a seleção de pessoal, o apoio ao cliente e a análise
- Mapear as relações com fornecedores que envolvem serviços de IA ou de ML
Classifique cada sistema
Para cada sistema, verifique por esta ordem que regras se aplicam e registe o raciocínio.
- Verificar as práticas proibidas do artigo 5.º
- Verificar a via do anexo I e as 8 áreas do anexo III (artigo 6.º)
- Verificar a exceção do artigo 6.º, n.º 3, quando aplicável
- Verificar se está envolvido um modelo de IA de finalidade geral (artigo 3.º, ponto 63)
- Verificar as obrigações de transparência do artigo 50.º
- Documentar o raciocínio de cada sistema
Mantenha um único registo
Crie um único registo de todos os sistemas de IA. É a base para as obrigações dos artigos 4.º, 26.º e 49.º e para pedidos das autoridades.
- Atribuir um identificador único a cada sistema de IA
- Registar o fornecedor, o responsável pela implantação e a pessoa responsável
- Registar a classificação e o raciocínio
- Acompanhar as obrigações em aberto de cada sistema
- Ligar a documentação técnica (anexo IV) quando aplicável
- Manter o histórico de versões e os registos de alterações
Mantenha-o atualizado
Um inventário só é útil se se mantiver atualizado. Registe os novos sistemas de IA e as alterações que possam mudar a classificação.
- Acrescentar uma verificação do inventário de IA à revisão de código e aos pull requests
- Exigir o registo de um sistema de IA antes de ir para produção
- Procurar novas dependências de IA no CI/CD
- Rever o inventário com as partes interessadas todos os trimestres
- Definir quem decide quando um novo sistema pode ser de risco elevado
- Formar as equipas de desenvolvimento para identificar e comunicar sistemas de IA
Um registo possível: dez campos (a nossa sugestão)
| Campo | Descrição | Exemplo |
|---|---|---|
| ID do sistema | Identificador único | AI-SYS-001 |
| Nome do sistema | Nome usado internamente | Assistente de pré-seleção de currículos |
| Fornecedor | Quem desenvolveu o sistema | Nome do fornecedor ou equipa interna |
| O seu papel | Fornecedor, responsável pela implantação ou ambos | Responsável pela implantação |
| Classificação | Resultado da sua classificação, com raciocínio | Risco elevado, anexo III, ponto 4, alínea a |
| Finalidade prevista | Para que serve o sistema | Ordena candidaturas |
| Estado de implantação | Fase atual do ciclo de vida | Em produção |
| Dados tratados | Tipos de dados tratados | Currículos e formulários de candidatura |
| Pessoa responsável | Responsável interno pelas obrigações | Direção de Pessoas |
| Obrigações em aberto | O que falta fazer | Pedir as instruções de utilização |
Perguntas frequentes sobre o inventário de IA
O Regulamento de IA exige um inventário de sistemas de IA?
Nenhum artigo exige um inventário como documento. Várias obrigações pressupõem que conhece os seus sistemas de IA: a literacia em IA de fornecedores e responsáveis pela implantação (artigo 4.º), as obrigações dos responsáveis pela implantação de sistemas de risco elevado (artigo 26.º) e o registo na base de dados da UE (artigo 49.º). O fornecedor que considera que um sistema do anexo III não é de risco elevado deve documentar essa avaliação e registar o sistema (artigo 6.º, n.º 4, e artigo 49.º, n.º 2).
Como trato os sistemas de IA que já estão em produção?
Comece pelos sistemas que possam ser proibidos (artigo 5.º) ou de risco elevado (artigo 6.º). Registe cada sistema, classifique-o e anote o seu fornecedor. O regulamento tem limites: exclui a utilização militar, a investigação e a utilização puramente privada (artigo 2.º, n.os 3, 6, 8 e 10), e algumas proibições só se aplicam mais tarde (artigo 113.º, alínea a). Um sistema de risco elevado colocado no mercado ou em serviço antes da data de aplicação só fica abrangido se o seu conceito sofrer posteriormente alterações significativas. Em qualquer caso, os fornecedores e os responsáveis pela implantação de sistemas de IA de risco elevado destinados a ser utilizados por autoridades públicas devem tomar as medidas necessárias para cumprir até uma data posterior (artigo 111.º, n.º 2)
Devo incluir no inventário as ferramentas de IA para colaboradores?
Sim. O artigo 4.º abrange os sistemas de IA que o seu pessoal opera e utiliza, sejam ou não de risco elevado. O anexo III, ponto 4, enumera utilizações no emprego, como o recrutamento e a seleção, as decisões sobre condições de trabalho, a atribuição de tarefas e o acompanhamento do desempenho e do comportamento.
Ler a seguir: classificação e documentação
O meu sistema de IA é de risco elevado? Uma árvore de decisão
Percorre as perguntas que decidem se um sistema de IA é proibido, de risco elevado ou nenhuma das duas coisas.
Anexo III em detalhe: as 8 categorias de risco elevado
Enumera as 8 áreas cujos sistemas de IA são de risco elevado, com exemplos do texto do anexo.
Documentação técnica do anexo IV: os nove pontos
Mostra os nove pontos de documentação de que um sistema de risco elevado precisa.
O Scanara prepara evidências a partir dos seus repositórios
O Scanara lê os seus repositórios GitHub ligados e executa análises baseadas em regras para padrões comuns de IA e de aprendizagem automática. Pode não detetar código fora do padrão. Em separado, gera rascunhos de documentação a partir de modelos e das suas respostas nas avaliações, como evidências para o seu trabalho de conformidade. A classificação é decidida por si.