Artículo 15: exactitud y solidez en sistemas autónomos
Cómo se aplica el artículo 15 del Reglamento de IA a la IA autónoma: precisión de la percepción, resiliencia adversaria, redundancia y detección del ODD.
El artículo 15 de la EU AI Act exige que los sistemas de IA de alto riesgo alcancen niveles adecuados de precisión, solidez y ciberseguridad a lo largo de todo su ciclo de vida. En los sistemas autónomos, los fallos de precisión son fallos de seguridad — un sistema de percepción que clasifica erróneamente a un peatón o no detecta una señal de stop bajo la lluvia puede tener consecuencias mortales. Con arreglo al anexo III, sección 2, los sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento del tráfico rodado y del suministro de agua, gas, calefacción y electricidad se clasifican como de alto riesgo.
Esta página explica cómo las obligaciones de precisión, solidez y ciberseguridad del artículo 15 se aplican específicamente a los sistemas autónomos — desde los vehículos autónomos hasta los drones autónomos — incluida la precisión de la percepción en condiciones adversas, la resiliencia frente a entradas adversarias, los requisitos de redundancia, la detección de situaciones fuera de la distribución y las infracciones a nivel de código que Scanara detecta en los sistemas de IA autónomos.
Métricas de precisión para sistemas de IA autónomos
Precisión de la percepción con mal tiempo
La precisión de la detección y clasificación de objetos debe validarse en condiciones de lluvia, nieve, niebla, deslumbramiento y poca luz. Realizar pruebas únicamente con datos de buen tiempo no es conforme al artículo 15. Las métricas de precisión deben declararse por condición meteorológica, y el sistema debe gestionar una percepción degradada de forma controlada en lugar de fallar de forma silenciosa.
Precisión media promedio (mAP) por clase de objeto
La precisión de la detección debe notificarse por clase de objeto — peatones, ciclistas, vehículos, señales de tráfico, marcas viales. Un mAP agregado que enmascare una detección deficiente de peatones no es conforme. Los usuarios vulnerables de la vía (peatones, ciclistas) deben cumplir los umbrales de precisión más altos.
Precisión de la localización
Más allá de detectar objetos, el sistema debe localizarlos con precisión en el espacio 3D. Un sistema que detecta a un peatón pero lo sitúa a 2 metros de su posición real ha incumplido un requisito de precisión crítico para la seguridad. La precisión de la localización debe validarse en distintos tipos de sensores y condiciones ambientales.
Precisión de la fusión de sensores
Los sistemas autónomos suelen combinar entradas de cámara, LiDAR y radar. La precisión con arreglo al artículo 15 debe tener en cuenta la cadena de percepción fusionada, incluida la precisión cuando los sensores individuales se degradan o discrepan. El sistema debe declarar cómo cambia la precisión al operar con disponibilidad parcial de sensores.
Precisión de la predicción y la planificación
Más allá de la percepción, deben validarse la predicción de trayectorias (predecir las trayectorias futuras de otros usuarios de la vía) y la precisión de la planificación de rutas. Un sistema con una excelente detección de objetos pero una predicción de trayectorias deficiente sigue representando un riesgo para la seguridad. El artículo 15 abarca toda la cadena de decisión.
Obligaciones clave de precisión y solidez para sistemas autónomos
El artículo 15 exige que los sistemas de IA de alto riesgo sean resilientes frente a errores, fallos e incoherencias. En los sistemas autónomos, esto incluye la solidez frente a manipulaciones adversarias de las señales de tráfico, la degradación de los sensores y el funcionamiento fuera de la envolvente de rendimiento validada.
Resiliencia frente a entradas adversarias
La investigación ha demostrado que las pegatinas adversarias en las señales de tráfico pueden provocar una clasificación errónea, y que las marcas viales adversarias pueden provocar una salida de carril. El artículo 15 exige específicamente resiliencia frente a entradas diseñadas para eludir el sistema. Los sistemas autónomos deben someterse a pruebas contra los vectores de ataque adversarios conocidos.
Redundancia para funciones críticas de seguridad
Las funciones de percepción críticas para la seguridad deben disponer de sistemas redundantes con modos de fallo independientes. Si falla el detector de peatones basado en cámara, un detector independiente basado en LiDAR debería proporcionar una reserva de seguridad. La solidez con arreglo al artículo 15 exige que ningún punto único de fallo pueda comprometer las funciones críticas de seguridad.
Detección de la superación del dominio de diseño operativo (ODD)
El sistema debe detectar cuándo está operando fuera de su envolvente de rendimiento validada. Un sistema entrenado para la conducción en autopista que entra en un entorno urbano sin declarar la limitación ha superado su ODD. El artículo 15 exige que el sistema reconozca las situaciones fuera de la distribución y responda de forma segura.
Degradación controlada ante fallo de sensor
Cuando los sensores individuales fallan o se degradan, el sistema debe mantener una capacidad de seguridad mínima definida o pasar a un estado seguro. El artículo 15 exige resiliencia frente a fallos — un sistema que se bloquea o se comporta de forma impredecible cuando falla un solo sensor no es sólido.
Solapamientos regulatorios
Los requisitos de precisión y solidez de los sistemas autónomos se cruzan con la seguridad funcional del automóvil, la seguridad de la funcionalidad prevista y las normativas internacionales sobre vehículos. El cumplimiento del artículo 15 por sí solo es insuficiente — estas obligaciones solapadas deben abordarse conjuntamente.
ISO 26262 — Seguridad funcional del automóvil (ASIL)
ISO 26262 define los niveles de integridad de seguridad del automóvil (ASIL A a D) para los sistemas relacionados con la seguridad. Los componentes de percepción por IA de los vehículos autónomos deben alcanzar el nivel ASIL adecuado a su criticidad para la seguridad. Los requisitos de precisión del artículo 15 deben integrarse con los procesos de validación de seguridad de ISO 26262.
ISO 21448 — Seguridad de la funcionalidad prevista (SOTIF)
La SOTIF aborda los riesgos de seguridad derivados de insuficiencias funcionales de la funcionalidad prevista, incluidas las limitaciones de percepción. Los requisitos de precisión y solidez del artículo 15 se alinean directamente con el objetivo de la SOTIF de garantizar que el sistema funcione de forma segura en todas sus condiciones de funcionamiento previstas.
UNECE WP.29 Regulations
Los reglamentos de la ONU para la conducción automatizada (WP.29) establecen requisitos de rendimiento para el mantenimiento automatizado del carril, los sistemas de conducción automatizada y la ciberseguridad. Los requisitos del artículo 15 complementan el WP.29 al añadir obligaciones de precisión y solidez específicas de la IA al marco existente de homologación de tipo de los vehículos.
Euro NCAP Safety Ratings
Euro NCAP evalúa cada vez más las funciones de asistencia a la conducción basadas en IA y de conducción automatizada en sus calificaciones de seguridad. La validación de precisión del artículo 15 puede apoyarse en los protocolos de prueba de Euro NCAP como evidencia de la validación del rendimiento, aunque Euro NCAP por sí solo no constituye un cumplimiento completo del artículo 15.
Infracciones comunes que detecta Scanara
Precisión de percepción solo agregada sin estratificación por condición
Cadenas de evaluación que calculan únicamente el mAP global sin estratificación por condición meteorológica, iluminación, clase de objeto y configuración de sensores. Scanara señala el código de evaluación que carece de métricas estratificadas por condición — realizar pruebas únicamente con datos de buen tiempo no es conforme.
Sin pruebas de solidez adversaria en la cadena de CI
Cadenas CI/CD que carecen de pruebas de solidez adversaria para las entradas de percepción. Scanara señala los flujos de evaluación que no realizan pruebas contra modificaciones adversarias de las señales de tráfico, marcas viales adversarias u otros vectores de ataque conocidos dirigidos a los sistemas de percepción autónomos.
Desplegado sin detección de situaciones fuera de la distribución
Modelos de percepción desplegados sin mecanismos para detectar la superación del ODD o las entradas fuera de la distribución. Scanara detecta las cadenas de inferencia que carecen de detección de desplazamiento de la distribución, umbrales de confianza para las transiciones a estado seguro o supervisión de los límites del ODD.
Métricas de rendimiento no incluidas en la documentación de seguridad
Despliegues en los que la precisión de percepción por condición, los resultados de solidez adversaria y los límites del ODD no se incluyen en el expediente de seguridad o las instrucciones de uso. El artículo 15 exige que los niveles de precisión y las métricas de rendimiento previstas se declaren en la documentación adjunta.
Lista de verificación de cumplimiento del artículo 15 para sistemas autónomos
Alcanzar una precisión de percepción estratificada por condición
Valide la precisión de la percepción en distintas condiciones meteorológicas, de iluminación, clases de objetos y configuraciones de sensores. Declare todas las métricas en el expediente de seguridad y las instrucciones de uso.
Garantizar la solidez con redundancia
Implemente sistemas de percepción redundantes con modos de fallo independientes para las funciones críticas de seguridad. Pruebe la degradación controlada ante fallos de sensores y documente las capacidades de seguridad mínimas.
Implementar la resiliencia frente a entradas adversarias
Realice pruebas contra modificaciones adversarias de las señales de tráfico, marcas viales adversarias y otros vectores de ataque conocidos. Incluya las pruebas adversarias en la cadena CI/CD y documente los umbrales de resiliencia.
Mantener la ciberseguridad de los sistemas de IA del vehículo
Proteja los modelos de percepción, las cadenas de datos de sensores y los algoritmos de control frente a modificaciones no autorizadas. Implemente comprobaciones de integridad, arranque seguro y seguridad de las actualizaciones por aire para todos los componentes de IA.
Implementar la detección de la superación del ODD
Despliegue mecanismos para detectar cuándo el sistema está operando fuera de su envolvente de rendimiento validada. Implemente transiciones a estado seguro cuando se superen los límites del ODD o se detecten situaciones fuera de la distribución.
Preguntas frecuentes
Recursos relacionados
Artículo 15: Precisión y solidez
Requisitos completos del artículo 15 en todos los sectores.
IA de sistemas autónomos — Hub sectorial
Guía completa de cumplimiento de la EU AI Act para los sistemas de IA autónomos.
Artículo 14: Supervisión humana para sistemas autónomos
Requisitos de supervisión humana para los sistemas de IA autónomos.
Artículo 15: Precisión para infraestructuras críticas
Requisitos de precisión y solidez para la IA de infraestructuras críticas.
Cómo ayuda Scanara
Scanara automatiza el cumplimiento de la Ley de IA de la UE del código al dossier. Conecte sus repos de GitHub y obtenga informes de cumplimiento en minutos.