Skip to main content

Artikel 10: Datengovernance für HR-Tech-KI — EU AI Act

Wie Artikel 10 der KI-Verordnung für HR-Technologie gilt: Daten-Governance, Verzerrungsprüfung, Artikel 4a, Rollen von Anbieter und Arbeitgeber, Termine und Geldbußen.

Anbieter von Hochrisiko-KI für HR-Technologie müssen für Training, Validierung und Tests Datensätze guter Qualität verwenden (Artikel 10).

„HR-Technologie“ ist keine Kategorie der KI-Verordnung. Systeme nach Anhang III Nummer 4 (Beschäftigung und Personalmanagement), etwa Filter für Bewerbungen, sind hochriskant (Artikel 6 Absatz 2). Eine Ausnahme besteht (Artikel 6 Absatz 3). Die Regeln gelten ab 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Geldbußen betragen bis zu 15 Mio. EUR oder, bei Unternehmen, 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Nächster Schritt: Dokumentieren Sie die Herkunft jedes Datensatzes und Ihre Prüfung auf Verzerrungen.

Artikel 10 enthält keine Sonderregel für HR-Technologie: Dieselben Datenregeln gelten für jedes Hochrisiko-KI-System

Die Verordnung legt weder eine Mindestdatenmenge noch eine Quote noch eine Liste geschützter Gruppen fest. Sie legt Qualitätskriterien und Governance-Praktiken fest.

  • Daten-Governance-Praktiken

    Die Praktiken müssen zur Zweckbestimmung passen. Sie betreffen die Konzeptionsentscheidungen, die Datenerhebung und die Herkunft der Daten, bei personenbezogenen Daten auch den ursprünglichen Erhebungszweck. Sie betreffen die Aufbereitung der Daten, etwa Annotation, Kennzeichnung, Bereinigung, Aktualisierung, Anreicherung und Aggregierung. Sie betreffen außerdem die Annahmen darüber, was die Daten erfassen und darstellen sollen, und die Bewertung von Verfügbarkeit, Menge und Eignung der Datensätze (Artikel 10 Absatz 2 Buchstaben a bis e).

  • Prüfung auf Verzerrungen und Maßnahmen

    Die Praktiken betreffen auch die Untersuchung von Verzerrungen, die Gesundheit und Sicherheit beeinträchtigen, die Grundrechte berühren oder zu verbotener Diskriminierung führen können. Dazu gehören Maßnahmen, um diese Verzerrungen zu erkennen, zu verhindern und abzuschwächen, und die Ermittlung von Datenlücken, die der Einhaltung der Verordnung entgegenstehen (Artikel 10 Absatz 2 Buchstaben f bis h).

  • Qualität der Datensätze

    Datensätze müssen relevant, hinreichend repräsentativ und, so weit wie möglich, fehlerfrei und vollständig im Hinblick auf die Zweckbestimmung sein. Sie müssen die geeigneten statistischen Merkmale aufweisen, gegebenenfalls auch bezüglich der Personen oder Personengruppen, für die das System bestimmungsgemäß verwendet werden soll (Artikel 10 Absatz 3).

  • Das Einsatzumfeld

    Datensätze müssen, soweit es die Zweckbestimmung erfordert, die Merkmale berücksichtigen, die für das geografische, kontextbezogene, verhaltensbezogene oder funktionale Umfeld des Einsatzes typisch sind (Artikel 10 Absatz 4).

  • Systeme ohne Modelltraining

    Bei Hochrisiko-KI-Systemen, die keine KI-Modelle trainieren, gelten Artikel 10 Absätze 2 bis 4 und Artikel 4a Absatz 1 nur für die Testdatensätze (Artikel 10 Absatz 6).

HR-Technologie kann über Anhang III Nummer 4 hochriskant sein

HR-Technologie ist keine Kategorie der KI-Verordnung. Maßgeblich ist die in Anhang III Nummer 4 genannte Verwendung („Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit“).

  • Nummer 4 Buchstabe a: Einstellung und Auswahl

    KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten.

  • Nummer 4 Buchstabe b: Beschäftigungsverhältnisse

    KI-Systeme, die bestimmungsgemäß für Entscheidungen, die die Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen, für die Zuweisung von Aufgaben aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden sollen.

  • Es gibt eine Ausnahme, und sie gilt nie für Profiling

    Ein System nach Anhang III gilt nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, auch nicht dadurch, dass es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Die Ausnahme gilt nur, wenn eine der vier Bedingungen des Artikels 6 Absatz 3 Buchstaben a bis d erfüllt ist. Ein System, das Profiling natürlicher Personen durchführt, gilt immer als hochriskant. Ein Anbieter, der sein System für nicht hochriskant hält, muss seine Bewertung dokumentieren, bevor das System in Verkehr gebracht oder in Betrieb genommen wird (Artikel 6 Absatz 4). Die Kommission hatte bis zum 2. Februar 2026 Leitlinien mit praktischen Beispielen vorzulegen (Artikel 6 Absatz 5).

  • Der Entwickler der Software ist Anbieter, der Arbeitgeber, der sie verwendet, ist Betreiber

    Anbieter ist die natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass ihre Systeme die Anforderungen des Abschnitts 2 (Artikel 8 bis 15) erfüllen (Artikel 16 Buchstabe a). Betreiber ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet (Artikel 3 Nummer 4). Ein Arbeitgeber, der ein HR-System verwendet, ist Betreiber mit den Pflichten des Artikels 26. Ein Betreiber wird zum Anbieter, wenn er seinen Namen oder seine Handelsmarke auf einem bereits in Verkehr gebrachten Hochrisiko-KI-System anbringt, eine wesentliche Veränderung daran vornimmt oder die Zweckbestimmung eines Systems so ändert, dass es zu einem Hochrisiko-KI-System wird (Artikel 25 Absatz 1).

  • Termine, ältere Systeme und Ausnahmen vom Anwendungsbereich

    Die Anforderungen für Systeme nach Anhang III gelten ab 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Datum in Verkehr gebracht oder in Betrieb genommen wurde, fällt nur darunter, wenn es ab diesem Datum erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verordnung gilt nicht für Bereiche außerhalb des Anwendungsbereichs des Unionsrechts (Artikel 2 Absatz 3), nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen wurden (Artikel 2 Absatz 6), und nicht für Forschung, Tests und Entwicklung vor dem Inverkehrbringen oder der Inbetriebnahme eines Systems; Tests unter Realbedingungen sind nicht ausgenommen (Artikel 2 Absatz 8). Sie gilt nicht für Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer rein persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). KI-Systeme unter freien und quelloffenen Lizenzen sind ausgenommen, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als Systeme nach Artikel 5 oder 50 in Verkehr gebracht oder in Betrieb genommen (Artikel 2 Absatz 12).

  • Artikel 4a erlaubt besondere Datenkategorien zur Verzerrungserkennung unter Bedingungen

    Anbieter von Hochrisiko-KI-Systemen dürfen ausnahmsweise besondere Kategorien personenbezogener Daten verarbeiten, soweit dies für die Erkennung und Korrektur von Verzerrungen nach Artikel 10 Absatz 2 Buchstaben f und g unbedingt erforderlich ist und alle Bedingungen des Artikels 4a Absatz 1 erfüllt sind, etwa dass andere Daten, auch synthetische oder anonymisierte, das Ziel nicht erreichen können. Betreiber von Hochrisiko-KI-Systemen dürfen dies nach Artikel 4a Absatz 2 unter denselben Bedingungen und Garantien tun. Artikel 4a Absatz 2 begründet keine Pflicht, eine solche Erkennung und Korrektur von Verzerrungen durchzuführen. Die DSGVO gilt daneben weiter (Artikel 2 Absatz 7).

  • Arbeitgeber: Eingabedaten unter ihrer Kontrolle

    Soweit der Betreiber die Eingabedaten kontrolliert, stellt er sicher, dass die Eingabedaten der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen und hinreichend repräsentativ sind (Artikel 26 Absatz 4).

Was die Verordnung offenlässt

  • Keine Quote, keine Liste geschützter Merkmale, keine Fairnessmetrik

    Die Verordnung legt keine Quote und keine Regel zur demografischen Parität fest und Artikel 10 nennt keine geschützten Merkmale; er verweist auf nach Unionsrecht verbotene Diskriminierung (Artikel 10 Absatz 2 Buchstabe f). Andere Bestimmungen nennen sensible Merkmale für ihre eigenen Zwecke (Artikel 5 Absatz 1 Buchstabe g, Anhang III Nummer 1 Buchstabe b). Der Anbieter entscheidet, wie er Verzerrungen für seine Zweckbestimmung prüft und misst.

  • Für Artikel 10 Absatz 4 gibt es eine Konformitätsvermutung

    Hochrisiko-KI-Systeme, die mit Daten trainiert und getestet wurden, die das besondere geografische, verhaltensbezogene, kontextbezogene oder funktionale Umfeld widerspiegeln, in dem sie verwendet werden sollen, gelten als konform mit den einschlägigen Anforderungen des Artikels 10 Absatz 4 (Artikel 42 Absatz 1).

  • Die Verordnung nennt keine Norm; harmonisierte Normen und Leitlinien gibt es

    Die Verordnung selbst nennt keine Norm die Datenqualität. Sie verlangt, den allgemein anerkannten Stand der Technik zu berücksichtigen (Artikel 8 Absatz 1). Hochrisiko-KI-Systeme, die mit harmonisierten Normen, deren Fundstellen im Amtsblatt veröffentlicht wurden, übereinstimmen, gelten als konform mit den Anforderungen des Abschnitts 2, soweit diese Normen sie abdecken (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien zur Anwendung der Anforderungen der Artikel 8 bis 15 (Artikel 96 Absatz 1 Buchstabe a). Jede andere Norm, die ein Anbieter nutzt, ist eine freiwillige Gestaltungsentscheidung.

Beispiel: Daten-Governance für ein Tool zur Vorauswahl von Lebensläufen

Das sind Beispiele, keine Anforderungen.

  • Beispiel: Repräsentativität (Artikel 10 Absatz 3)

    Der Anbieter eines Tools zur Vorauswahl von Lebensläufen prüft, ob seine Trainings-, Validierungs- und Testdaten die Bewerbergruppen enthalten, für die das Tool bestimmt ist, und hält jede Lücke fest (Artikel 10 Absatz 2 Buchstabe h).

  • Beispiel: Rückkopplungsschleifen (Artikel 10 Absatz 2 Buchstabe f)

    Ein Ranking-Tool, das mit früheren Einstellungsentscheidungen trainiert wurde, kann frühere Muster wiederholen. Der Anbieter prüft dies, besonders wenn die Ausgaben des Tools die Daten beeinflussen, aus denen es später lernt.

Häufige Fragen: Quoten, besondere Datenkategorien, Termine und Geldbußen

Verlangt Artikel 10 einen ausgewogenen oder quotenbasierten Datensatz?

Nein. Die Verordnung legt keine Quote fest. Datensätze müssen relevant, hinreichend repräsentativ und, so weit wie möglich, fehlerfrei und vollständig im Hinblick auf die Zweckbestimmung sein und die geeigneten statistischen Merkmale aufweisen, gegebenenfalls auch bezüglich der Personen oder Personengruppen, für die das System bestimmt ist (Artikel 10 Absatz 3). Sie müssen, soweit es die Zweckbestimmung erfordert, die Merkmale des Einsatzumfelds berücksichtigen (Artikel 10 Absatz 4).

Darf ich besondere Kategorien personenbezogener Daten verwenden, um auf Verzerrungen zu testen?

Artikel 4a Absatz 1 erlaubt Anbietern von Hochrisiko-KI-Systemen, zusätzlich zur DSGVO ausnahmsweise besondere Kategorien personenbezogener Daten zu verarbeiten, soweit dies für die Erkennung und Korrektur von Verzerrungen unbedingt erforderlich ist und alle Bedingungen a bis f erfüllt sind. Dazu gehört, dass andere Daten, auch synthetische oder anonymisierte, das Ziel nicht erreichen können, dass die Daten nicht an andere Parteien übermittelt werden und dass sie gelöscht werden, sobald die Verzerrung korrigiert ist oder die Aufbewahrungsfrist endet. Betreiber von Hochrisiko-KI-Systemen dürfen dies nach Artikel 4a Absatz 2 tun. Artikel 4a Absatz 2 begründet keine Pflicht, eine solche Erkennung und Korrektur von Verzerrungen durchzuführen.

Ab wann gelten die Regeln des Artikels 10 für HR-Technologie?

Die Anforderungen für Systeme nach Anhang III gelten ab 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Datum in Verkehr gebracht oder in Betrieb genommen wurde, fällt nur darunter, wenn es ab diesem Datum erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).

Wie hoch sind die Geldbußen, und gelten für kleine Unternehmen niedrigere Obergrenzen?

Artikel 16 legt die Anbieterpflichten fest, zu denen die Einhaltung der Anforderungen der Artikel 9 bis 15 gehört. Verstöße werden mit Geldbußen von bis zu 15 Mio. EUR oder, bei einem Unternehmen, 3 % des weltweiten Jahresumsatzes belegt, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-ups, und kleine Midcap-Unternehmen (Artikel 3 Nummer 14b) gilt jeweils der niedrigere der beiden Beträge als Obergrenze (Artikel 99 Absätze 6 und 6a). Der Umsatzanteil gilt, wenn der Verstoßende ein Unternehmen ist (Artikel 99 Absatz 4). Jeder Mitgliedstaat legt fest, in welchem Umfang gegen Behörden und Einrichtungen mit Sitz in diesem Mitgliedstaat Geldbußen verhängt werden können (Artikel 99 Absatz 8).

Scanara bereitet Nachweise aus Ihren Repositorien vor

Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.