Artigo 15.º: Exatidão e robustez em sistemas autónomos
Como a exatidão, robustez e cibersegurança do artigo 15.º do EU AI Act se aplicam à IA autónoma — exatidão da perceção, resiliência adversarial, redundância e deteção do ODD.
O artigo 15.º do EU AI Act exige que os sistemas de IA de risco elevado atinjam níveis adequados de exatidão, robustez e cibersegurança ao longo do seu ciclo de vida. Nos sistemas autónomos, as falhas de exatidão são falhas de segurança — um sistema de perceção que classifica erradamente um peão ou não deteta um sinal de stop à chuva pode ter consequências fatais. Nos termos do anexo III, secção 2, os sistemas de IA destinados a serem componentes de segurança na gestão e no funcionamento do tráfego rodoviário e do abastecimento de água, gás, aquecimento e eletricidade são classificados como de risco elevado.
Esta página explica como as obrigações de exatidão, robustez e cibersegurança do artigo 15.º se aplicam especificamente aos sistemas autónomos — de veículos autónomos a drones autónomos — incluindo a exatidão da perceção em condições adversas, a resiliência a entradas adversariais, os requisitos de redundância, a deteção de situações fora da distribuição e que violações ao nível do código o Scanara deteta nos sistemas de IA autónomos.
Métricas de exatidão para sistemas de IA autónomos
Exatidão da perceção com condições meteorológicas adversas
A exatidão da deteção e classificação de objetos deve ser validada em condições de chuva, neve, nevoeiro, encandeamento e pouca luz. Testar apenas com dados de tempo limpo não é conforme ao artigo 15.º. As métricas de exatidão devem ser declaradas por condição meteorológica, e o sistema deve gerir uma perceção degradada de forma controlada em vez de falhar silenciosamente.
Precisão média (mAP) por classe de objeto
A exatidão da deteção deve ser reportada por classe de objeto — peões, ciclistas, veículos, sinais de trânsito, marcas rodoviárias. Um mAP agregado que mascara uma deteção deficiente de peões não é conforme. Os utentes vulneráveis da estrada (peões, ciclistas) devem cumprir os limiares de exatidão mais elevados.
Exatidão da localização
Para além de detetar objetos, o sistema deve localizá-los com exatidão no espaço 3D. Um sistema que deteta um peão mas o coloca a 2 metros da sua posição real falhou um requisito de exatidão crítico para a segurança. A exatidão da localização deve ser validada para diferentes tipos de sensores e condições ambientais.
Exatidão da fusão de sensores
Os sistemas autónomos combinam normalmente entradas de câmara, LiDAR e radar. A exatidão nos termos do artigo 15.º deve ter em conta o pipeline de perceção fundido, incluindo a exatidão quando sensores individuais se degradam ou divergem. O sistema deve declarar como a exatidão se altera ao operar com disponibilidade parcial de sensores.
Exatidão da previsão e do planeamento
Para além da perceção, devem ser validadas a previsão de trajetória (prever os percursos futuros de outros utentes da estrada) e a exatidão do planeamento de percurso. Um sistema com excelente deteção de objetos mas fraca previsão de trajetória continua a representar um risco para a segurança. O artigo 15.º abrange todo o pipeline de decisão.
Principais obrigações de exatidão & robustez para sistemas autónomos
O artigo 15.º exige que os sistemas de IA de risco elevado sejam resilientes a erros, falhas e incoerências. Nos sistemas autónomos, isto inclui a robustez contra manipulações adversariais de sinais de trânsito, a degradação de sensores e o funcionamento fora do envelope de desempenho validado.
Resiliência a entradas adversariais
A investigação demonstrou que autocolantes adversariais em sinais de trânsito podem provocar uma classificação errada, e que marcas rodoviárias adversariais podem provocar a saída de faixa. O artigo 15.º exige especificamente resiliência a entradas concebidas para contornar o sistema. Os sistemas autónomos devem ser testados contra os vetores de ataque adversariais conhecidos.
Redundância para funções críticas para a segurança
As funções de perceção críticas para a segurança devem dispor de sistemas redundantes com modos de falha independentes. Se o detetor de peões baseado em câmara falhar, um detetor independente baseado em LiDAR deve fornecer uma reserva de segurança. A robustez nos termos do artigo 15.º exige que nenhum ponto único de falha possa comprometer as funções críticas para a segurança.
Deteção da ultrapassagem do domínio de conceção operacional (ODD)
O sistema deve detetar quando está a operar fora do seu envelope de desempenho validado. Um sistema treinado para a condução em autoestrada que entra num ambiente urbano sem declarar a limitação ultrapassou o seu ODD. O artigo 15.º exige que o sistema reconheça as situações fora da distribuição e responda de forma segura.
Degradação controlada em caso de falha de sensor
Quando sensores individuais falham ou se degradam, o sistema deve manter uma capacidade de segurança mínima definida ou transitar para um estado seguro. O artigo 15.º exige resiliência a falhas — um sistema que bloqueia ou se comporta de forma imprevisível quando um único sensor falha não é robusto.
Sobreposições regulamentares
Os requisitos de exatidão e robustez dos sistemas autónomos intersetam-se com a segurança funcional automóvel, a segurança da funcionalidade prevista e as regulamentações internacionais relativas aos veículos. A conformidade apenas com o artigo 15.º é insuficiente — estas obrigações sobrepostas devem ser abordadas em conjunto.
ISO 26262 — Segurança funcional automóvel (ASIL)
A ISO 26262 define os Automotive Safety Integrity Levels (ASIL A a D) para os sistemas relacionados com a segurança. Os componentes de perceção por IA nos veículos autónomos devem atingir o nível ASIL adequado à sua criticidade para a segurança. Os requisitos de exatidão do artigo 15.º devem ser integrados nos processos de validação de segurança da ISO 26262.
ISO 21448 — Safety of the Intended Functionality (SOTIF)
A SOTIF aborda os riscos de segurança decorrentes de insuficiências funcionais na funcionalidade prevista, incluindo as limitações de perceção. Os requisitos de exatidão e robustez do artigo 15.º alinham-se diretamente com o foco da SOTIF em assegurar que o sistema funciona em segurança em todas as suas condições de funcionamento previstas.
UNECE WP.29 Regulations
Os regulamentos da ONU para a condução automatizada (WP.29) estabelecem requisitos de desempenho para a manutenção automatizada na faixa, os sistemas de condução automatizada e a cibersegurança. Os requisitos do artigo 15.º complementam o WP.29 ao acrescentar obrigações de exatidão e robustez específicas da IA ao quadro existente de homologação de tipo dos veículos.
Euro NCAP Safety Ratings
O Euro NCAP avalia cada vez mais as funções de assistência à condução baseadas em IA e de condução automatizada nas suas classificações de segurança. A validação de exatidão do artigo 15.º pode recorrer aos protocolos de ensaio Euro NCAP como prova de validação de desempenho, embora o Euro NCAP por si só não constitua conformidade total com o artigo 15.º.
Violações comuns detetadas pelo Scanara
Exatidão de perceção apenas agregada sem estratificação por condição
Pipelines de avaliação que calculam apenas o mAP global sem estratificação por condição meteorológica, iluminação, classe de objeto e configuração de sensores. O Scanara sinaliza o código de avaliação sem métricas estratificadas por condição — testar apenas com dados de tempo limpo não é conforme.
Sem testes de robustez adversarial no pipeline de CI
Pipelines CI/CD sem testes de robustez adversarial para as entradas de perceção. O Scanara sinaliza os fluxos de avaliação que não testam contra modificações adversariais de sinais de trânsito, marcas rodoviárias adversariais ou outros vetores de ataque conhecidos dirigidos aos sistemas de perceção autónomos.
Implementado sem deteção de situações fora da distribuição
Modelos de perceção implementados sem mecanismos para detetar a ultrapassagem do ODD ou as entradas fora da distribuição. O Scanara deteta os pipelines de inferência sem deteção de desvio da distribuição, limiares de confiança para transições para estado seguro ou monitorização dos limites do ODD.
Métricas de desempenho não incluídas na documentação de segurança
Implementações em que a exatidão de perceção por condição, os resultados de robustez adversarial e os limites do ODD não são incluídos no processo de segurança ou nas instruções de utilização. O artigo 15.º exige que os níveis de exatidão e as métricas de desempenho esperadas sejam declarados na documentação de acompanhamento.
Lista de verificação de conformidade com o artigo 15.º para sistemas autónomos
Atingir uma exatidão de perceção estratificada por condição
Valide a exatidão da perceção em condições meteorológicas, iluminação, classes de objetos e configurações de sensores. Declare todas as métricas no processo de segurança e nas instruções de utilização.
Assegurar a robustez com redundância
Implemente sistemas de perceção redundantes com modos de falha independentes para as funções críticas para a segurança. Teste a degradação controlada em caso de falha de sensor e documente as capacidades de segurança mínimas.
Implementar a resiliência a entradas adversariais
Teste contra modificações adversariais de sinais de trânsito, marcas rodoviárias adversariais e outros vetores de ataque conhecidos. Inclua os testes adversariais no pipeline CI/CD e documente os limiares de resiliência.
Manter a cibersegurança dos sistemas de IA do veículo
Proteja os modelos de perceção, os pipelines de dados de sensores e os algoritmos de controlo contra modificações não autorizadas. Implemente verificações de integridade, arranque seguro e segurança das atualizações over-the-air para todos os componentes de IA.
Implementar a deteção da ultrapassagem do ODD
Implemente mecanismos para detetar quando o sistema está a operar fora do seu envelope de desempenho validado. Implemente transições para estado seguro quando os limites do ODD são ultrapassados ou são detetadas situações fora da distribuição.
Perguntas frequentes
Recursos relacionados
Artigo 15.º: Exatidão e robustez
Requisitos completos do artigo 15.º em todos os setores.
IA de sistemas autónomos — Hub setorial
Guia completo de conformidade com o EU AI Act para os sistemas de IA autónomos.
Artigo 14.º: Supervisão humana para sistemas autónomos
Requisitos de supervisão humana para os sistemas de IA autónomos.
Artigo 15.º: Exatidão para infraestruturas críticas
Requisitos de exatidão e robustez para a IA de infraestruturas críticas.
Como o Scanara ajuda
O Scanara automatiza a conformidade com o Regulamento de IA do código ao dossiê. Ligue os seus repos GitHub e obtenha relatórios de conformidade em minutos.