Artikel 17: Qualitätsmanagement für HR-Tech-KI — EU AI Act

Wie Artikel 17 des EU AI Act für HR-Tech-KI gilt — Aufbau eines QMS für Einstellungsalgorithmen, Bias-Audit-Verfahren und Compliance für Beschäftigungs-KI.

Veröffentlicht 2. April 2026

Artikel 17 des EU AI Act verpflichtet Anbieter von Hochrisiko-KI-Systemen, ein Qualitätsmanagementsystem (QMS) einzurichten und aufrechtzuerhalten. Für HR-Tech-Unternehmen ist dies häufig eine völlig neue Verpflichtung — anders als im Gesundheitswesen oder in der Automobilbranche betreiben die meisten HR-Technologieanbieter kein bestehendes formales QMS-Rahmenwerk. Gemäß Anhang III, Abschnitt 4 werden KI-Systeme, die in der Personalbeschaffung, beim Bewerber-Screening, bei Beförderungsentscheidungen und im Personalmanagement eingesetzt werden, als hochriskant eingestuft und unterliegen dem vollen Umfang von Artikel 17.

Diese Seite erläutert, welche QMS-Elemente HR-Tech-Anbieter umsetzen müssen, wie Qualitätsmanagementprozesse für KI-gestützte Einstellungs- und Personaltools strukturiert werden und welche QMS-Prozesslücken auf Codeebene Scanara in HR-Tech-KI-Systemen erkennt.

Für HR-Tech-KI erforderliche QMS-Komponenten

Freigabeprozess für Modellversionen

Ein dokumentierter Prozess, der festlegt, wer die Befugnis hat, neue Modellversionen für den Produktiveinsatz freizugeben, welche Validierungsnachweise vor der Freigabe erforderlich sind (Ergebnisse von Bias-Tests, Genauigkeitskennzahlen, Fairness-Berichte) und welche Rollback-Verfahren bestehen. Anders als im Gesundheitswesen müssen die meisten HR-Tech-Unternehmen diesen Prozess von Grund auf neu schaffen.

Geplante Verfahren für Bias-Audits

Bias-Tests müssen ein dokumentierter, planmäßiger QMS-Prozess sein — keine Ad-hoc-Aktivität. Legen Sie die Prüffrequenz (vierteljährlich empfohlen), die zu testenden demografischen Gruppen, statistische Schwellenwerte für zulässige unterschiedliche Auswirkungen sowie Korrekturmaßnahmen fest, die bei Überschreitung der Schwellenwerte ausgelöst werden. Dadurch wird Bias-Testing von einer bewährten Praxis zu einem formalen Qualitätsverfahren.

Änderungsmanagement für Modellaktualisierungen

Verfahren, die regeln, wie Modelländerungen (Neutraining, Merkmalsänderungen, Schwellenwertanpassungen) bewertet, freigegeben und bereitgestellt werden. Jede Änderung muss vor der Freigabe der Bereitstellung eine dokumentierte Folgenabschätzung umfassen, die Genauigkeit, Fairness und mögliche nachgelagerte Auswirkungen auf Einstellungsergebnisse abdeckt.

Compliance-Validierung von Anbieter-KI

Beim Einsatz von KI-Tools Dritter für die Personalbeschaffung haben Betreiber gemäß Artikel 26 QMS-gleichwertige Verpflichtungen. Dokumentieren Sie Verfahren zur Validierung der Compliance-Angaben von Anbietern, zur Durchführung unabhängiger Bias-Tests von Anbietertools und zur Aufbewahrung von Nachweisen zur Anbieter-Compliance als Teil des QMS.

Verfahren für Bewerberbeschwerden und Widersprüche

Dokumentierte Verfahren zur Bearbeitung von Bewerberbeschwerden über KI-Entscheidungsergebnisse, einschließlich Widerspruchsabläufen, menschlicher Überprüfungsprozesse und Eskalationswege. Diese müssen in den QMS-Korrekturmaßnahmenprozess zurückfließen, wenn Beschwerdemuster auf systemische Qualitätsprobleme hindeuten.

Zentrale QMS-Pflichten für HR-Tech

Artikel 17 verlangt schriftliche Richtlinien, Verfahren und Anweisungen, die den gesamten KI-Lebenszyklus abdecken. Für HR-Tech-Anbieter ohne bestehendes QMS bedeutet dies den Aufbau grundlegender Qualitätsmanagementprozesse, die sowohl allgemeine QMS-Anforderungen als auch beschäftigungsspezifische Verpflichtungen berücksichtigen.

Designkontrolle für Einstellungsalgorithmen

Artikel 17 verlangt dokumentierte Verfahren zur Designkontrolle und Verifizierung. Für HR-Tech bedeutet dies zu dokumentieren, wie Einstellungsalgorithmen konzipiert werden, welche Merkmale ausgewählt (und ausgeschlossen) werden, wie Proxy-Variablen für geschützte Merkmale identifiziert und gemindert werden und wie Designentscheidungen anhand von Fairness-Anforderungen verifiziert werden.

Test und Validierung vor der Bereitstellung

Schriftliche Verfahren für Test und Validierung müssen Genauigkeitstests über Stellenkategorien hinweg, Bias-Tests über demografische Gruppen hinweg und die Validierung anhand historischer Einstellungsergebnisse umfassen. Validierungsergebnisse müssen dokumentiert und überprüft werden, bevor eine Modellversion für den Produktiveinsatz freigegeben wird.

Nachmarktüberwachung für Beschäftigungs-KI

Kontinuierliche Überwachung eingesetzter Einstellungs-KI-Systeme auf Leistungsverschlechterung, entstehende Bias-Muster und Veränderungen bei Einstellungsergebnissen. Die Überwachung muss automatisierte Warnungen umfassen, wenn Verhältnisse nachteiliger Auswirkungen Schwellenwerte überschreiten, sowie dokumentierte Verfahren zur Untersuchung und Behebung erkannter Probleme.

Personalkompetenz und Schulung

Dokumentieren Sie die erforderlichen Kompetenzen für Mitarbeitende, die Einstellungs-KI-Systeme entwickeln, bereitstellen und überwachen. Schulungen müssen KI-Fairness-Grundsätze, Antidiskriminierungsrecht, die spezifischen QMS-Verfahren sowie die Interpretation von Bias-Audit-Ergebnissen abdecken. Bewahren Sie Schulungsnachweise als QMS-Dokumentation auf.

Regulatorische Überschneidungen

Während HR-Tech kein dediziertes QMS-Rahmenwerk wie die ISO 13485 im Gesundheitswesen besitzt, überschneiden sich mehrere regulatorische Verpflichtungen mit Artikel 17 und können Struktur für den Aufbau eines konformen QMS bieten.

ISO 42001 — KI-Managementsysteme

ISO 42001 bietet das am direktesten anwendbare Rahmenwerk für HR-Tech-Unternehmen, die ein AI-Act-QMS aufbauen. Es umfasst KI-Governance, Risikomanagement, Datenmanagement und Leistungsüberwachung — mit enger Zuordnung zu den Anforderungen von Artikel 17 und einer zertifizierbaren Managementsystemstruktur.

ISO 9001 — Allgemeines QMS

ISO 9001 bietet das grundlegende QMS-Rahmenwerk (Dokumentenlenkung, Managementbewertung, Korrekturmaßnahmen, internes Audit), das Artikel 17 verlangt. HR-Tech-Unternehmen ohne bestehendes QMS sollten ISO 9001 als strukturelles Rückgrat in Betracht ziehen, erweitert um KI-spezifische und beschäftigungsspezifische Verfahren.

Gleichbehandlungsrichtlinien

Die EU-Gleichbehandlungsrichtlinien (2000/43/EG, 2000/78/EG) verbieten Diskriminierung im Beschäftigungsbereich. QMS-Verfahren nach Artikel 17 für Bias-Tests und Fairness-Überwachung unterstützen die Einhaltung dieser Richtlinien unmittelbar. Die Dokumentation von Bias-Audit-Verfahren als Teil des QMS schafft einen prüfbaren Nachweis der Antidiskriminierungsbemühungen.

DSGVO-Rechenschaftspflicht (Art. 5 Abs. 2)

Artikel 5 Absatz 2 der DSGVO verpflichtet Verantwortliche, die Einhaltung der Datenschutzgrundsätze nachzuweisen. Die von Artikel 17 geforderten QMS-Datenmanagementverfahren — die Datenauswahl, -erhebung, -annotation und -speicherung abdecken — überschneiden sich mit den DSGVO-Rechenschaftsanforderungen zur Dokumentation der rechtmäßigen Verarbeitung personenbezogener Bewerberdaten.

Häufige Verstöße, die Scanara erkennt

Kein Modell-Versioning oder Freigabe-Workflow

Bereitstellungs-Pipelines, die Aktualisierungen von Einstellungsmodellen ohne Versionskennzeichnung, Freigabe-Gates oder dokumentierte Freigabe in die Produktion überführen. Scanara markiert CI/CD-Konfigurationen, bei denen Modellartefakte ohne Freigabe-Workflow direkt bereitgestellt werden — ein Verstoß gegen die Anforderungen von Artikel 17 an Designkontrolle und Verifizierung.

Modelländerungen ohne Folgenabschätzung

Neutraining von Modellen, Merkmalsänderungen oder Schwellenwertanpassungen, die ohne dokumentierte Folgenabschätzung bereitgestellt werden. Scanara erkennt Modellaktualisierungs-Pipelines, denen Schritte zur Fairness-Folgenabschätzung fehlen oder bei denen Änderungen bereitgestellt werden, ohne die Auswirkungen auf Einstellungsergebnisse über demografische Gruppen hinweg zu bewerten.

Kein dokumentiertes Modellvalidierungsverfahren

Einstellungs-KI-Systeme, die ohne dokumentiertes Validierungsverfahren mit Akzeptanzkriterien für Genauigkeit und Fairness bereitgestellt werden. Scanara identifiziert Bereitstellungen, denen Verweise auf Validierungsberichte oder Bias-Audit-Ergebnisse fehlen oder bei denen Validierungsschritte im Bereitstellungs-Workflow gänzlich fehlen.

Nachmarktüberwachung ohne Anbindung an Korrekturmaßnahmen

Überwachungssysteme, die Einstellungsergebnisse oder Bias-Kennzahlen erfassen, denen jedoch die automatisierte Eskalation an einen Korrekturmaßnahmenprozess fehlt, wenn Schwellenwerte überschritten werden. Scanara markiert Überwachungskonfigurationen, bei denen die Erkennung nachteiliger Auswirkungen keine dokumentierten Untersuchungs- und Behebungsabläufe auslöst.

Artikel-17-Compliance-Checkliste für HR-Tech

Art. 17(1)(a)

Strategie zur Einhaltung der Vorschriften

Dokumentieren Sie eine Strategie zur Einhaltung des AI Act, die alle hochriskanten Einstellungs-KI-Systeme abdeckt. Legen Sie fest, welche Systeme in den Anwendungsbereich fallen, welche Normen anwendbar sind (ISO 42001, ISO 9001) und welchen Zeitplan die QMS-Umsetzung hat.

Art. 17(1)(b)

Designkontrolle und Verifizierung

Richten Sie Verfahren für die Gestaltung und Verifizierung von Einstellungsalgorithmen ein, einschließlich der Überprüfung der Merkmalsauswahl, der Erkennung von Proxy-Variablen und der Verifizierungsaktivitäten nach dem Fairness-by-Design-Prinzip.

Art. 17(1)(c)

Test- und Validierungsverfahren

Definieren Sie Validierungsverfahren einschließlich Genauigkeitstests, Bias-Prüfung über geschützte Merkmale hinweg und Akzeptanzkriterien, die vor dem Produktiveinsatz erfüllt sein müssen.

Art. 17(1)(e)

Datenmanagementverfahren

Richten Sie Verfahren für die Auswahl, Erhebung, Annotation, Speicherung und Filterung von Bewerberdaten ein. Berücksichtigen Sie die DSGVO-Anforderungen an die Verarbeitung von Beschäftigungsdaten sowie Aufbewahrungsrichtlinien.

Art. 17(1)(i)

Internes Auditprogramm

Implementieren Sie ein internes Auditprogramm, das KI-Modell-Governance, die Einhaltung von Bias-Tests, Datenmanagementpraktiken und die Wirksamkeit von Korrekturmaßnahmen abdeckt. Planen Sie Audits mindestens jährlich.

Häufig gestellte Fragen

So hilft Scanara

Scanara automatisiert die EU AI Act Compliance vom Code bis zum Dossier. Verbinden Sie Ihre GitHub-Repos und erhalten Sie Compliance-Berichte in Minuten.