Artikel 9: Risikomanagement für HR-Tech-KI — EU AI Act
Wie Artikel 9 der KI-Verordnung für HR-Technologie gilt: Anhang III Nummer 4, Rollen von Anbieter und Arbeitgeber, Verbot der Emotionsableitung am Arbeitsplatz, Termine und Geldbußen.
Anbieter von Hochrisiko-KI für HR-Technologie müssen über den gesamten Lebenszyklus ein Risikomanagementsystem betreiben (Artikel 9).
„HR-Technologie“ ist keine Kategorie der KI-Verordnung. Systeme nach Anhang III Nummer 4 (Beschäftigung und Personalmanagement), etwa Filter für Bewerbungen, sind hochriskant (Artikel 6 Absatz 2). Eine Ausnahme besteht (Artikel 6 Absatz 3). Die Regeln gelten ab 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Geldbußen betragen bis zu 15 Mio. EUR oder, bei Unternehmen, 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Nächster Schritt: Prüfen Sie jedes System anhand von Anhang III Nummer 4 und Artikel 5 Absatz 1 Buchstabe f.
Artikel 9 enthält keine Sonderregel für HR-Technologie: Ein Risikomanagementprozess gilt für jedes Hochrisiko-KI-System
Die Verordnung nennt keine Risiken, die speziell für Einstellung oder Personalmanagement gelten. Der Anbieter ermittelt die Risiken, die sich für seine eigene Zweckbestimmung ergeben.
Ein kontinuierlicher Prozess
Das Risikomanagementsystem ist ein kontinuierlicher iterativer Prozess, der über den gesamten Lebenszyklus des Systems geplant und durchgeführt wird, mit regelmäßiger systematischer Überprüfung und Aktualisierung (Artikel 9 Absatz 2).
Vier Schritte
Der Prozess ermittelt und analysiert die bekannten und vernünftigerweise vorhersehbaren Risiken für Gesundheit, Sicherheit oder Grundrechte. Er schätzt Risiken bei bestimmungsgemäßer Verwendung und bei vernünftigerweise vorhersehbarer Fehlanwendung ab und bewertet sie. Er bewertet Risiken, die sich aus Daten der Beobachtung nach dem Inverkehrbringen ergeben (Artikel 72), und ergreift gezielte Risikomanagementmaßnahmen (Artikel 9 Absatz 2 Buchstaben a bis d).
Das Restrisiko muss vertretbar sein
Das mit jeder Gefährdung verbundene Restrisiko und das Gesamtrestrisiko müssen als vertretbar beurteilt werden. Die Maßnahmen müssen Risiken, soweit technisch möglich, durch Konzeption und Entwicklung beseitigen oder verringern und, soweit angemessen, Minderungs- und Kontrollmaßnahmen ergänzen. Sie müssen den Betreibern (Organisationen, die das System einsetzen) außerdem die nach Artikel 13 erforderlichen Informationen und, soweit angemessen, Schulungen bieten (Artikel 9 Absatz 5).
Nur Risiken, die Konzeption oder Information beherrschen können
Artikel 9 betrifft nur Risiken, die sich durch Entwicklung oder Konzeption des Systems oder durch die Bereitstellung angemessener technischer Informationen vernünftigerweise mindern oder beseitigen lassen (Artikel 9 Absatz 3).
Gegen vorab festgelegte Metriken testen
Tests dienen dazu, die geeignetsten Maßnahmen zu ermitteln, und müssen zeigen, dass das System für seine Zweckbestimmung konsistent funktioniert (Artikel 9 Absatz 6). Sie finden je nach Bedarf während der Entwicklung und in jedem Fall vor dem Inverkehrbringen oder der Inbetriebnahme statt (Artikel 9 Absatz 8). Sie nutzen vorab festgelegte Metriken und Wahrscheinlichkeitsschwellen. Tests unter Realbedingungen sind nach Artikel 60 möglich (Artikel 9 Absatz 7).
Minderjährige und schutzbedürftige Gruppen
Anbieter müssen prüfen, ob das System voraussichtlich nachteilige Auswirkungen auf Personen unter 18 Jahren und, soweit angemessen, auf andere schutzbedürftige Gruppen hat (Artikel 9 Absatz 9).
HR-Technologie kann über Anhang III Nummer 4 hochriskant sein
HR-Technologie ist keine Kategorie der KI-Verordnung. Maßgeblich ist die in Anhang III Nummer 4 genannte Verwendung („Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit“).
Nummer 4 Buchstabe a: Einstellung und Auswahl
KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten.
Nummer 4 Buchstabe b: Beschäftigungsverhältnisse
KI-Systeme, die bestimmungsgemäß für Entscheidungen, die die Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen, für die Zuweisung von Aufgaben aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden sollen.
Es gibt eine Ausnahme, und sie gilt nie für Profiling
Ein System nach Anhang III gilt nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, auch nicht dadurch, dass es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Die Ausnahme gilt nur, wenn eine der vier Bedingungen des Artikels 6 Absatz 3 Buchstaben a bis d erfüllt ist. Ein System, das Profiling natürlicher Personen durchführt, gilt immer als hochriskant. Ein Anbieter, der sein System für nicht hochriskant hält, muss seine Bewertung dokumentieren, bevor das System in Verkehr gebracht oder in Betrieb genommen wird (Artikel 6 Absatz 4). Die Kommission hatte bis zum 2. Februar 2026 Leitlinien mit praktischen Beispielen vorzulegen (Artikel 6 Absatz 5).
Der Entwickler der Software ist Anbieter, der Arbeitgeber, der sie verwendet, ist Betreiber
Anbieter ist die natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass ihre Systeme die Anforderungen des Abschnitts 2 (Artikel 8 bis 15) erfüllen (Artikel 16 Buchstabe a). Betreiber ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet (Artikel 3 Nummer 4). Ein Arbeitgeber, der ein HR-System verwendet, ist Betreiber mit den Pflichten des Artikels 26. Ein Betreiber wird zum Anbieter, wenn er seinen Namen oder seine Handelsmarke auf einem bereits in Verkehr gebrachten Hochrisiko-KI-System anbringt, eine wesentliche Veränderung daran vornimmt oder die Zweckbestimmung eines Systems so ändert, dass es zu einem Hochrisiko-KI-System wird (Artikel 25 Absatz 1).
Termine, ältere Systeme und Ausnahmen vom Anwendungsbereich
Die Anforderungen für Systeme nach Anhang III gelten ab 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Datum in Verkehr gebracht oder in Betrieb genommen wurde, fällt nur darunter, wenn es ab diesem Datum erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verordnung gilt nicht für Bereiche außerhalb des Anwendungsbereichs des Unionsrechts (Artikel 2 Absatz 3), nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen wurden (Artikel 2 Absatz 6), und nicht für Forschung, Tests und Entwicklung vor dem Inverkehrbringen oder der Inbetriebnahme eines Systems; Tests unter Realbedingungen sind nicht ausgenommen (Artikel 2 Absatz 8). Sie gilt nicht für Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer rein persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). KI-Systeme unter freien und quelloffenen Lizenzen sind ausgenommen, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als Systeme nach Artikel 5 oder 50 in Verkehr gebracht oder in Betrieb genommen (Artikel 2 Absatz 12).
Zuerst das Verbot der Emotionsableitung prüfen
Artikel 5 Absatz 1 Buchstabe f verbietet das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder Sicherheitsgründen eingeführt oder auf den Markt gebracht werden. Das Verbot gilt ab 2. Februar 2025 (Artikel 113 Buchstabe a). Die Verordnung definiert „Arbeitsplatz“ nicht. Ob das Verbot Bewerber in Videointerviews erfasst, ist eine Auslegungsfrage, die diese Seite nicht entscheidet. Verstöße gegen Artikel 5 werden mit Geldbußen von bis zu 35 Mio. EUR oder, bei Unternehmen, bis zu 7 % des weltweiten Jahresumsatzes belegt, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3).
Was die Verordnung offenlässt
Keine Liste von HR-Risiken und keine Fairnessmetrik
Die Verordnung nennt keine Risiken, die speziell für HR-Technologie gelten, und keine Fairnessmetrik. Der Anbieter ermittelt die bekannten und vernünftigerweise vorhersehbaren Risiken für Gesundheit, Sicherheit oder Grundrechte bei bestimmungsgemäßer Verwendung (Artikel 9 Absatz 2 Buchstabe a). Tests erfolgen anhand vorab festgelegter Metriken und Wahrscheinlichkeitsschwellen, die für die Zweckbestimmung geeignet sind (Artikel 9 Absatz 8).
Die Verordnung nennt keine Norm; harmonisierte Normen und Leitlinien gibt es
Die Verordnung selbst nennt keine Norm das Risikomanagement. Sie verlangt, den allgemein anerkannten Stand der Technik zu berücksichtigen (Artikel 8 Absatz 1). Hochrisiko-KI-Systeme, die mit harmonisierten Normen, deren Fundstellen im Amtsblatt veröffentlicht wurden, übereinstimmen, gelten als konform mit den Anforderungen des Abschnitts 2, soweit diese Normen sie abdecken (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien zur Anwendung der Anforderungen der Artikel 8 bis 15 (Artikel 96 Absatz 1 Buchstabe a). Jede andere Norm, die ein Anbieter nutzt, ist eine freiwillige Gestaltungsentscheidung.
Beispiel: Risikomanagement für ein Tool zur Rangfolge von Lebensläufen
Das sind Beispiele, keine Anforderungen.
Beispiel: ein Ranking-Tool (Artikel 9 Absatz 2 Buchstabe a)
Der Anbieter eines Tools zur Rangfolge von Lebensläufen hält fest, dass das Tool Bewerber unterschiedlich bewerten kann, wenn ihr Werdegang von den Trainingsdaten abweicht, etwa nach einer Berufspause. Der Anbieter entscheidet, welche Testfälle und Maßnahmen zur Zweckbestimmung passen.
Beispiel: Personen unter 18 Jahren (Artikel 9 Absatz 9)
Der Anbieter eines Tools, das Bewerber Ausbildungsplätzen zuordnet, dokumentiert, ob das Tool voraussichtlich nachteilige Auswirkungen auf Personen unter 18 Jahren hat.
Häufige Fragen: Fairnessmetriken, Arbeitgeberpflichten, Termine und Geldbußen
Verlangt Artikel 9 eine Fairnessmetrik oder einen bestimmten Verzerrungstest?
Nein. Die Verordnung nennt weder eine Fairnessmetrik noch eine Testmethode. Tests erfolgen anhand vorab festgelegter Metriken und Wahrscheinlichkeitsschwellen, die für die Zweckbestimmung geeignet sind (Artikel 9 Absatz 8). Der Anbieter legt sie fest.
Muss ein Arbeitgeber ein Risikomanagementsystem nach Artikel 9 betreiben?
Artikel 9 stellt eine Anforderung an das System, und den Anbieter trifft die Pflicht, sie zu erfüllen (Artikel 16 Buchstabe a). Ein Arbeitgeber, der das System verwendet, ist Betreiber mit den Pflichten des Artikels 26. Er wird zum Anbieter, wenn er seinen Namen oder seine Handelsmarke auf einem bereits in Verkehr gebrachten Hochrisiko-KI-System anbringt, eine wesentliche Veränderung vornimmt oder die Zweckbestimmung eines Systems so ändert, dass es zu einem Hochrisiko-KI-System wird (Artikel 25 Absatz 1).
Ab wann gelten die Regeln des Artikels 9 für HR-Technologie?
Die Anforderungen für Systeme nach Anhang III gelten ab 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Datum in Verkehr gebracht oder in Betrieb genommen wurde, fällt nur darunter, wenn es ab diesem Datum erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).
Wie hoch sind die Geldbußen, und gelten für kleine Unternehmen niedrigere Obergrenzen?
Artikel 16 legt die Anbieterpflichten fest, zu denen die Einhaltung der Anforderungen der Artikel 9 bis 15 gehört. Verstöße werden mit Geldbußen von bis zu 15 Mio. EUR oder, bei einem Unternehmen, 3 % des weltweiten Jahresumsatzes belegt, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-ups, und kleine Midcap-Unternehmen (Artikel 3 Nummer 14b) gilt jeweils der niedrigere der beiden Beträge als Obergrenze (Artikel 99 Absätze 6 und 6a). Der Umsatzanteil gilt, wenn der Verstoßende ein Unternehmen ist (Artikel 99 Absatz 4). Jeder Mitgliedstaat legt fest, in welchem Umfang gegen Behörden und Einrichtungen mit Sitz in diesem Mitgliedstaat Geldbußen verhängt werden können (Artikel 99 Absatz 8).
Als Nächstes lesen: der Artikel für alle Branchen, die Übersicht zu HR-Technologie und verwandte Leitfäden
Artikel 9: Risikomanagementsystem für Hochrisiko-KI
Der Artikel, wie die Verordnung ihn für alle Branchen fasst.
KI-Verordnung: Compliance für HR-Technologie
Wie die Verordnung KI für Einstellung, Auswahl und Personalmanagement erfasst.
Artikel 10: Datengovernance für HR-Tech-KI — EU AI Act
Daten-Governance, Verzerrungsprüfung und Artikel 4a für HR-Technologie.
Artikel 14: Menschliche Aufsicht für HR-Tech-KI — EU-AI-Gesetz
Maßnahmen der menschlichen Aufsicht für HR-Technologie.
Scanara bereitet Nachweise aus Ihren Repositorien vor
Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.