Article 17 : gestion de la qualité de l'IA RH — EU AI Act
Comment la gestion de la qualité de l'article 17 du EU AI Act s'applique à l'IA de HR tech — SGQ pour les algorithmes de recrutement, procédures d'audit de biais.
L'article 17 du EU AI Act impose aux fournisseurs de systèmes d'IA à haut risque de mettre en place et de maintenir un système de gestion de la qualité (SGQ). Pour les entreprises de HR tech, il s'agit souvent d'une obligation entièrement nouvelle — contrairement à la santé ou à l'automobile, la plupart des fournisseurs de technologies RH ne disposent pas d'un cadre SGQ formel existant. En vertu de l'annexe III, section 4, les systèmes d'IA utilisés dans le recrutement, la présélection des candidats, les décisions de promotion et la gestion des effectifs sont classés à haut risque et soumis à l'intégralité du champ d'application de l'article 17.
Cette page explique quels éléments de SGQ les fournisseurs de HR tech doivent mettre en œuvre, comment structurer les processus de gestion de la qualité pour les outils d'IA de recrutement et de gestion des effectifs, et quelles lacunes de processus SGQ au niveau du code Scanara détecte dans les systèmes d'IA de HR tech.
Composants de SGQ requis pour l'IA de HR tech
Processus d'approbation des versions de modèle
Un processus documenté précisant qui a l'autorité d'approuver de nouvelles versions de modèle pour le déploiement en production, quelles preuves de validation sont requises avant l'approbation (résultats des tests de biais, mesures de précision, rapports d'équité) et quelles procédures de retour en arrière existent. Contrairement à la santé, la plupart des entreprises de HR tech doivent créer ce processus de toutes pièces.
Procédures d'audit de biais planifiées
Les tests de biais doivent constituer un processus SGQ documenté et planifié — et non une activité ponctuelle. Définissez la fréquence des audits (trimestrielle recommandée), les groupes démographiques à tester, les seuils statistiques d'impact disparate acceptable et les actions correctives déclenchées en cas de dépassement des seuils. Cela transforme les tests de biais d'une bonne pratique en une procédure qualité formelle.
Gestion des changements pour les mises à jour de modèle
Procédures régissant la manière dont les modifications de modèle (réentraînement, changements de caractéristiques, ajustements de seuils) sont évaluées, approuvées et déployées. Chaque modification doit inclure une évaluation d'impact documentée couvrant la précision, l'équité et les effets potentiels en aval sur les résultats de recrutement avant que le déploiement ne soit autorisé.
Validation de la conformité de l'IA des fournisseurs
Lors de l'utilisation d'outils d'IA tiers pour le recrutement, les déployeurs ont des obligations équivalentes au SGQ en vertu de l'article 26. Documentez les procédures de validation des déclarations de conformité des fournisseurs, de réalisation de tests de biais indépendants des outils des fournisseurs et de conservation des preuves de conformité des fournisseurs dans le cadre du SGQ.
Procédures de réclamation et de recours des candidats
Procédures documentées pour traiter les réclamations des candidats concernant les résultats des décisions d'IA, y compris les circuits de recours, les processus de révision humaine et les voies d'escalade. Celles-ci doivent alimenter le processus d'actions correctives du SGQ lorsque des schémas de réclamations révèlent des problèmes de qualité systémiques.
Obligations clés de SGQ pour la HR tech
L'article 17 exige des politiques, procédures et instructions écrites couvrant l'ensemble du cycle de vie de l'IA. Pour les fournisseurs de HR tech sans SGQ existant, cela implique de construire des processus fondamentaux de gestion de la qualité qui répondent à la fois aux exigences générales du SGQ et aux obligations spécifiques à l'emploi.
Contrôle de conception des algorithmes de recrutement
L'article 17 exige des procédures documentées de contrôle de conception et de vérification. Pour la HR tech, cela signifie documenter la manière dont les algorithmes de recrutement sont conçus, quelles caractéristiques sont sélectionnées (et exclues), comment les variables de substitution des caractéristiques protégées sont identifiées et atténuées, et comment les décisions de conception sont vérifiées au regard des exigences d'équité.
Test et validation avant déploiement
Les procédures écrites de test et de validation doivent inclure des tests de précision par catégorie de poste, des tests de biais par groupe démographique et une validation par rapport aux résultats de recrutement historiques. Les résultats de validation doivent être documentés et examinés avant qu'une version de modèle ne soit approuvée pour une utilisation en production.
Surveillance après commercialisation pour l'IA d'emploi
Surveillance continue des systèmes d'IA de recrutement déployés pour détecter la dégradation des performances, l'émergence de schémas de biais et les changements dans les résultats de recrutement. La surveillance doit inclure des alertes automatisées lorsque les ratios d'impact défavorable dépassent les seuils, ainsi que des procédures documentées pour enquêter et résoudre les problèmes détectés.
Compétence et formation du personnel
Documentez les compétences requises pour le personnel qui développe, déploie et surveille les systèmes d'IA de recrutement. La formation doit couvrir les principes d'équité de l'IA, le droit de la non-discrimination, les procédures SGQ spécifiques et la manière d'interpréter les résultats des audits de biais. Conservez les dossiers de formation comme documentation SGQ.
Chevauchements réglementaires
Bien que la HR tech ne dispose pas d'un cadre SGQ dédié comme l'ISO 13485 de la santé, plusieurs obligations réglementaires se chevauchent avec l'article 17 et peuvent fournir une structure pour construire un SGQ conforme.
ISO 42001 — Systèmes de management de l'IA
L'ISO 42001 offre le cadre le plus directement applicable aux entreprises de HR tech construisant un SGQ conforme à l'AI Act. Elle couvre la gouvernance de l'IA, la gestion des risques, la gestion des données et la surveillance des performances — s'alignant étroitement sur les exigences de l'article 17 et fournissant une structure de système de management certifiable.
ISO 9001 — SGQ générique
L'ISO 9001 fournit le cadre SGQ fondamental (maîtrise documentaire, revue de direction, actions correctives, audit interne) exigé par l'article 17. Les entreprises de HR tech sans SGQ existant devraient envisager l'ISO 9001 comme épine dorsale structurelle, complétée par des procédures spécifiques à l'IA et à l'emploi.
Directives sur l'égalité de traitement
Les directives de l'UE sur l'égalité de traitement (2000/43/CE, 2000/78/CE) interdisent la discrimination dans l'emploi. Les procédures SGQ de l'article 17 relatives aux tests de biais et à la surveillance de l'équité soutiennent directement la conformité à ces directives. Documenter les procédures d'audit de biais dans le cadre du SGQ crée une piste vérifiable des efforts de non-discrimination.
Responsabilité RGPD (art. 5, § 2)
L'article 5, paragraphe 2, du RGPD impose aux responsables du traitement de démontrer le respect des principes de protection des données. Les procédures SGQ de gestion des données requises par l'article 17 — couvrant la sélection, la collecte, l'annotation et le stockage des données — se chevauchent avec les exigences de responsabilité du RGPD relatives à la documentation du traitement licite des données personnelles des candidats.
Violations courantes détectées par Scanara
Aucune gestion de versions ni circuit d'approbation de modèle
Des pipelines de déploiement qui poussent les mises à jour de modèles de recrutement en production sans étiquetage de version, contrôles d'approbation ou validation documentée. Scanara signale les configurations CI/CD dans lesquelles les artefacts de modèle sont déployés directement sans circuit d'approbation — enfreignant les exigences de contrôle de conception et de vérification de l'article 17.
Modifications de modèle sans évaluation d'impact
Réentraînement de modèle, changements de caractéristiques ou ajustements de seuils déployés sans évaluation d'impact documentée. Scanara détecte les pipelines de mise à jour de modèle dépourvus d'étapes d'évaluation d'impact sur l'équité ou dans lesquels les modifications sont déployées sans évaluer les effets sur les résultats de recrutement entre groupes démographiques.
Aucune procédure de validation de modèle documentée
Des systèmes d'IA de recrutement déployés sans procédure de validation documentée précisant les critères d'acceptation en matière de précision et d'équité. Scanara identifie les déploiements dépourvus de références aux rapports de validation ou aux résultats d'audit de biais, ou dans lesquels les étapes de validation sont entièrement absentes du circuit de déploiement.
Surveillance après commercialisation non reliée aux actions correctives
Des systèmes de surveillance qui suivent les résultats de recrutement ou les mesures de biais mais dépourvus d'escalade automatisée vers un processus d'actions correctives en cas de dépassement des seuils. Scanara signale les configurations de surveillance dans lesquelles la détection d'un impact défavorable ne déclenche pas de circuits documentés d'enquête et de remédiation.
Liste de contrôle de conformité à l'article 17 pour la HR tech
Stratégie de conformité réglementaire
Documentez une stratégie de conformité à l'AI Act couvrant tous les systèmes d'IA de recrutement à haut risque. Définissez quels systèmes sont concernés, les normes applicables (ISO 42001, ISO 9001) et le calendrier de mise en œuvre du SGQ.
Contrôle de conception et vérification
Établissez des procédures de conception et de vérification des algorithmes de recrutement, y compris l'examen de la sélection des caractéristiques, la détection des variables de substitution et les activités de vérification de l'équité dès la conception.
Procédures de test et de validation
Définissez des procédures de validation comprenant des tests de précision, un audit de biais sur les caractéristiques protégées et des critères d'acceptation à respecter avant le déploiement en production.
Procédures de gestion des données
Établissez des procédures pour la sélection, la collecte, l'annotation, le stockage et le filtrage des données des candidats. Traitez les exigences du RGPD relatives au traitement des données d'emploi et les politiques de conservation des données.
Programme d'audit interne
Mettez en œuvre un programme d'audit interne couvrant la gouvernance des modèles d'IA, la conformité des tests de biais, les pratiques de gestion des données et l'efficacité des actions correctives. Planifiez des audits au moins une fois par an.
Foire aux questions
Ressources connexes
Article 17 : gestion de la qualité
Exigences complètes du SGQ de l'article 17 pour tous les secteurs.
IA de HR tech — pôle sectoriel
Guide complet de conformité au EU AI Act pour les systèmes d'IA de HR tech.
Article 9 : gestion des risques pour la HR tech
Exigences du système de gestion des risques pour l'IA de HR tech.
Article 15 : précision et robustesse pour la HR tech
Exigences de précision et de robustesse pour les systèmes d'IA de HR tech.
Comment Scanara vous aide
Scanara automatise la conformité au règlement sur l'IA du code au dossier. Connectez vos repos GitHub et obtenez des rapports de conformité en quelques minutes.