Artículo 17: gestión de la calidad en la IA de RR. HH.
Cómo se aplica la gestión de la calidad del artículo 17 del Reglamento de IA a la IA de RR. HH.: SGC para algoritmos de contratación, auditorías de sesgo e IA de empleo.
El artículo 17 del EU AI Act exige a los proveedores de sistemas de IA de alto riesgo establecer y mantener un sistema de gestión de la calidad (SGC). Para las empresas de HR tech, a menudo se trata de una obligación completamente nueva — a diferencia de la sanidad o la automoción, la mayoría de los proveedores de tecnología de RR. HH. no operan bajo un marco de SGC formal existente. Con arreglo al anexo III, sección 4, los sistemas de IA utilizados en la contratación, el cribado de candidatos, las decisiones de promoción y la gestión de la plantilla se clasifican como de alto riesgo y están sujetos a todo el alcance del artículo 17.
Esta página explica qué elementos de SGC deben implementar los proveedores de HR tech, cómo estructurar los procesos de gestión de la calidad para las herramientas de IA de contratación y gestión de personal, y qué carencias de proceso de SGC a nivel de código detecta Scanara en los sistemas de IA de HR tech.
Componentes de SGC requeridos para la IA de HR tech
Proceso de aprobación de versiones de modelo
Un proceso documentado que especifica quién tiene la autoridad para aprobar nuevas versiones de modelo para su despliegue en producción, qué evidencia de validación se requiere antes de la aprobación (resultados de pruebas de sesgo, métricas de precisión, informes de equidad) y qué procedimientos de reversión existen. A diferencia de la sanidad, la mayoría de las empresas de HR tech deben crear este proceso desde cero.
Procedimientos de auditoría de sesgo programados
Las pruebas de sesgo deben ser un proceso de SGC documentado y programado — no una actividad puntual. Defina la frecuencia de auditoría (se recomienda trimestral), los grupos demográficos a evaluar, los umbrales estadísticos de impacto dispar aceptable y las acciones correctivas que se activan cuando se superan los umbrales. Esto convierte las pruebas de sesgo de una buena práctica en un procedimiento de calidad formal.
Gestión de cambios para actualizaciones de modelo
Procedimientos que rigen cómo se evalúan, aprueban y despliegan los cambios de modelo (reentrenamiento, cambios de características, ajustes de umbrales). Cada cambio debe incluir una evaluación de impacto documentada que abarque la precisión, la equidad y los posibles efectos posteriores en los resultados de contratación antes de que se autorice el despliegue.
Validación del cumplimiento de la IA de proveedores
Al utilizar herramientas de IA de terceros para la contratación, los responsables del despliegue tienen obligaciones equivalentes al SGC en virtud del artículo 26. Documente los procedimientos para validar las declaraciones de cumplimiento del proveedor, realizar pruebas de sesgo independientes de las herramientas del proveedor y mantener registros de la evidencia de cumplimiento del proveedor como parte del SGC.
Procedimientos de reclamación y recurso de candidatos
Procedimientos documentados para gestionar las reclamaciones de los candidatos sobre los resultados de las decisiones de IA, incluidos los flujos de recurso, los procesos de revisión humana y las vías de escalado. Estos deben retroalimentar el proceso de acciones correctivas del SGC cuando los patrones de reclamaciones indiquen problemas de calidad sistémicos.
Obligaciones clave de SGC para la HR tech
El artículo 17 exige políticas, procedimientos e instrucciones por escrito que abarquen todo el ciclo de vida de la IA. Para los proveedores de HR tech sin un SGC existente, esto implica construir procesos fundamentales de gestión de la calidad que aborden tanto los requisitos generales del SGC como las obligaciones específicas del empleo.
Control de diseño de los algoritmos de contratación
El artículo 17 exige procedimientos documentados de control de diseño y verificación. Para la HR tech, esto significa documentar cómo se diseñan los algoritmos de contratación, qué características se seleccionan (y se excluyen), cómo se identifican y mitigan las variables de sustitución de las características protegidas, y cómo se verifican las decisiones de diseño frente a los requisitos de equidad.
Pruebas y validación antes del despliegue
Los procedimientos escritos de prueba y validación deben incluir pruebas de precisión por categoría de puesto, pruebas de sesgo por grupo demográfico y validación frente a resultados de contratación históricos. Los resultados de la validación deben documentarse y revisarse antes de que se apruebe cualquier versión de modelo para su uso en producción.
Vigilancia poscomercialización para la IA de empleo
Vigilancia continua de los sistemas de IA de contratación desplegados para detectar degradación del rendimiento, patrones de sesgo emergentes y cambios en los resultados de contratación. La vigilancia debe incluir alertas automatizadas cuando las proporciones de impacto adverso superen los umbrales, así como procedimientos documentados para investigar y resolver los problemas detectados.
Competencia y formación del personal
Documente las competencias requeridas para el personal que desarrolla, despliega y supervisa los sistemas de IA de contratación. La formación debe abarcar los principios de equidad de la IA, el derecho antidiscriminatorio, los procedimientos específicos del SGC y cómo interpretar los resultados de las auditorías de sesgo. Conserve los registros de formación como documentación del SGC.
Solapamientos normativos
Aunque la HR tech carece de un marco de SGC específico como la ISO 13485 de la sanidad, varias obligaciones normativas se solapan con el artículo 17 y pueden aportar estructura para construir un SGC conforme.
ISO 42001 — Sistemas de gestión de la IA
La ISO 42001 ofrece el marco más directamente aplicable para las empresas de HR tech que construyen un SGC conforme al AI Act. Abarca la gobernanza de la IA, la gestión de riesgos, la gestión de datos y la supervisión del rendimiento — alineándose estrechamente con los requisitos del artículo 17 y aportando una estructura de sistema de gestión certificable.
ISO 9001 — SGC genérico
La ISO 9001 proporciona el marco de SGC fundamental (control de documentos, revisión por la dirección, acciones correctivas, auditoría interna) que exige el artículo 17. Las empresas de HR tech sin un SGC existente deberían considerar la ISO 9001 como columna vertebral estructural, ampliada con procedimientos específicos de IA y de empleo.
Directivas de igualdad de trato
Las Directivas de igualdad de trato de la UE (2000/43/CE, 2000/78/CE) prohíben la discriminación en el empleo. Los procedimientos de SGC del artículo 17 para las pruebas de sesgo y la supervisión de la equidad respaldan directamente el cumplimiento de estas directivas. Documentar los procedimientos de auditoría de sesgo como parte del SGC crea un rastro auditable de los esfuerzos contra la discriminación.
Responsabilidad proactiva del RGPD (art. 5.2)
El artículo 5, apartado 2, del RGPD exige a los responsables del tratamiento demostrar el cumplimiento de los principios de protección de datos. Los procedimientos de SGC de gestión de datos que exige el artículo 17 — que abarcan la selección, la recopilación, la anotación y el almacenamiento de datos — se solapan con los requisitos de responsabilidad proactiva del RGPD para documentar el tratamiento lícito de los datos personales de los candidatos.
Infracciones comunes que detecta Scanara
Sin control de versiones ni flujo de aprobación de modelo
Canalizaciones de despliegue que envían actualizaciones de modelos de contratación a producción sin etiquetado de versión, controles de aprobación o firma documentada. Scanara marca las configuraciones de CI/CD en las que los artefactos de modelo se despliegan directamente sin un flujo de aprobación — infringiendo los requisitos de control de diseño y verificación del artículo 17.
Cambios de modelo sin evaluación de impacto
Reentrenamiento de modelos, cambios de características o ajustes de umbrales desplegados sin una evaluación de impacto documentada. Scanara detecta canalizaciones de actualización de modelo que carecen de pasos de evaluación de impacto sobre la equidad o en las que los cambios se despliegan sin evaluar los efectos en los resultados de contratación entre grupos demográficos.
Sin procedimiento de validación de modelo documentado
Sistemas de IA de contratación desplegados sin un procedimiento de validación documentado que especifique criterios de aceptación de precisión y equidad. Scanara identifica los despliegues que carecen de referencias a informes de validación o resultados de auditoría de sesgo, o en los que los pasos de validación están totalmente ausentes del flujo de despliegue.
Vigilancia poscomercialización no conectada a acciones correctivas
Sistemas de vigilancia que hacen seguimiento de los resultados de contratación o de las métricas de sesgo pero carecen de escalado automatizado a un proceso de acciones correctivas cuando se superan los umbrales. Scanara marca las configuraciones de vigilancia en las que la detección de impacto adverso no activa flujos documentados de investigación y remediación.
Lista de verificación de cumplimiento del artículo 17 para la HR tech
Estrategia de cumplimiento normativo
Documente una estrategia de cumplimiento del AI Act que abarque todos los sistemas de IA de contratación de alto riesgo. Defina qué sistemas están incluidos en el alcance, las normas aplicables (ISO 42001, ISO 9001) y el calendario de implementación del SGC.
Control de diseño y verificación
Establezca procedimientos para diseñar y verificar los algoritmos de contratación, incluida la revisión de la selección de características, la detección de variables de sustitución y las actividades de verificación de la equidad desde el diseño.
Procedimientos de prueba y validación
Defina procedimientos de validación que incluyan pruebas de precisión, auditoría de sesgo sobre las características protegidas y criterios de aceptación que deben cumplirse antes del despliegue en producción.
Procedimientos de gestión de datos
Establezca procedimientos para la selección, recopilación, anotación, almacenamiento y filtrado de los datos de los candidatos. Aborde los requisitos del RGPD para el tratamiento de datos de empleo y las políticas de conservación de datos.
Programa de auditoría interna
Implemente un programa de auditoría interna que abarque la gobernanza de los modelos de IA, el cumplimiento de las pruebas de sesgo, las prácticas de gestión de datos y la eficacia de las acciones correctivas. Programe auditorías al menos una vez al año.
Preguntas frecuentes
Recursos relacionados
Artículo 17: gestión de la calidad
Requisitos completos del SGC del artículo 17 en todos los sectores.
IA de HR tech — centro sectorial
Guía completa de cumplimiento del EU AI Act para los sistemas de IA de HR tech.
Artículo 9: gestión de riesgos para la HR tech
Requisitos del sistema de gestión de riesgos para la IA de HR tech.
Artículo 15: precisión y robustez para la HR tech
Requisitos de precisión y robustez para los sistemas de IA de HR tech.
Cómo ayuda Scanara
Scanara automatiza el cumplimiento de la Ley de IA de la UE del código al dossier. Conecte sus repos de GitHub y obtenga informes de cumplimiento en minutos.