Verbotene KI-Praktiken nach Artikel 5 der KI-Verordnung
Die zehn nach Artikel 5 verbotenen Praktiken im KI-Bereich, wer sie beachten muss, die engen Ausnahmen und Geldbußen bis 35 Millionen EUR oder 7 % des weltweiten Umsatzes, je nachdem, was höher ist.
Artikel 5 verbietet zehn KI-Praktiken: das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme. Akteure sind unter anderem Anbieter und Betreiber.
Die Geldbußen betragen bis zu 35 Millionen EUR oder 7 % des gesamten weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3). Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit genutzt werden, fallen nicht unter die Verordnung (Artikel 2 Absatz 3). Nächster Schritt: Prüfen Sie jedes Ihrer KI-Systeme anhand der zehn Praktiken unten.
Acht Verbote gelten ab dem 2. Februar 2025, zwei weitere ab dem 2. Dezember 2026.
Geldbußen gelten ab dem 2. August 2025 bzw. ab dem 2. Dezember 2026.
Zehn Praktiken im KI-Bereich sind verboten
Unterschwellige und manipulative Techniken
Art. 5 Abs. 1 Buchst. aKI-Systeme, die Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzen, um das Verhalten wesentlich zu verändern. Das Verbot gilt, wenn dadurch erheblicher Schaden entsteht oder mit hinreichender Wahrscheinlichkeit entstehen wird.
Ausnutzung von Schutzbedürftigkeit
Art. 5 Abs. 1 Buchst. bKI-Systeme, die eine Schutzbedürftigkeit aufgrund von Alter, Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen, um das Verhalten in einer Weise wesentlich zu verändern, die erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.
Nicht einvernehmlich erstelltes intimes Material
Art. 5 Abs. 1 Buchst. baKI-Systeme, die realistische Bilder, Videos, Audio- oder ähnliches Material der Intimbereiche einer identifizierbaren Person oder dieser Person bei sexuell eindeutigen Handlungen erzeugen oder manipulieren, ohne ihre freiwillige, spezifische, informierte, unmissverständliche und ausdrückliche Einwilligung. Eine Manipulation, die die Sichtbarkeit der Intimbereiche nicht erhöht und die Art der Handlungen nicht verändert, zählt nicht (Artikel 5 Absatz 1b). Anbieter sind nur erfasst, wenn dies der Zweckbestimmung des Systems entspricht oder wenn Konzeption, Training, Architektur, Fähigkeiten oder nutzerseitige Funktionen dies zu einem vernünftigerweise vorhersehbaren und reproduzierbaren Ergebnis ohne wesentliche technische Änderung machen und das System keine angemessenen und ausreichenden Schutzvorkehrungen hat, um dies zu verhindern und zu korrigieren. Betreiber sind erfasst, wenn sie ein System zu diesem Zweck verwenden (Artikel 5 Absatz 1a). Gilt ab dem 2. Dezember 2026.
Darstellungen von sexuellem Missbrauch von Kindern
Art. 5 Abs. 1 Buchst. bbKI-Systeme, die Material oder Darbietungen im Sinne von Artikel 2 Buchstaben c und e der Richtlinie 2011/93/EU erzeugen oder manipulieren, es sei denn, nach nationalem Recht greift eine „Ohne-Recht“-Ausnahme. Für Anbieter und Betreiber gelten dieselben Bedingungen wie für Buchstabe ba (Artikel 5 Absatz 1a). Gilt ab dem 2. Dezember 2026.
Social Scoring
Art. 5 Abs. 1 Buchst. cKI-Systeme, die Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder persönlicher Eigenschaften bewerten oder einstufen, wenn die soziale Bewertung zu Schlechterstellung in nicht zusammenhängenden sozialen Kontexten oder zu ungerechtfertigter oder unverhältnismäßiger Benachteiligung führt. Das Verbot ist nicht auf Behörden beschränkt.
Straftatenprognose allein aus Profiling
Art. 5 Abs. 1 Buchst. dKI-Systeme, die allein auf der Grundlage des Profilings einer Person oder der Bewertung ihrer Persönlichkeitsmerkmale das Risiko bewerten oder vorhersagen, dass sie eine Straftat begeht. KI, die eine menschliche Bewertung auf Grundlage objektiver, überprüfbarer Tatsachen mit unmittelbarem Bezug zu einer kriminellen Aktivität unterstützt, ist nicht verboten.
Ungezieltes Auslesen von Gesichtsbildern
Art. 5 Abs. 1 Buchst. eKI-Systeme, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern.
Emotionserkennung am Arbeitsplatz und in der Bildung
Art. 5 Abs. 1 Buchst. fKI-Systeme, die Emotionen einer Person am Arbeitsplatz oder in Bildungseinrichtungen ableiten. Das Verbot gilt nicht für Systeme, die aus medizinischen Gründen oder Sicherheitsgründen eingesetzt werden sollen.
Biometrische Kategorisierung nach sensiblen Merkmalen
Art. 5 Abs. 1 Buchst. gKI-Systeme, die natürliche Personen individuell anhand ihrer biometrischen Daten kategorisieren, um Rasse, politische Einstellungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Ausrichtung zu erschließen oder abzuleiten. Nicht erfasst sind das Kennzeichnen oder Filtern rechtmäßig erworbener biometrischer Datensätze und die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung.
Biometrische Echtzeit-Fernidentifizierung
Art. 5 Abs. 1 Buchst. hDer Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken ist verboten. Die drei engen Ausnahmen folgen weiter unten.
Verbotene Praktiken unterliegen der höchsten Bußgeldstufe
Artikel 99 Absatz 3 legt diesen Höchstbetrag für Verstöße gegen ein Verbot des Artikels 5 fest. Der 7-%-Teil gilt, wenn der Täter ein Unternehmen ist, und bezieht sich auf das vorangegangene Geschäftsjahr. Bei KMU, einschließlich Start-ups, beträgt die Geldbuße bis zum niedrigeren der beiden Beträge (Artikel 99 Absatz 6). Die Höhe im Einzelfall hängt von Faktoren wie Schwere und Dauer des Verstoßes ab (Artikel 99 Absatz 7). Jeder Mitgliedstaat legt fest, inwieweit gegen Behörden Geldbußen verhängt werden dürfen (Artikel 99 Absatz 8).
Für die biometrische Echtzeit-Fernidentifizierung gibt es drei enge Ausnahmen
Das Verbot in Artikel 5 Absatz 1 Buchstabe h gilt nicht, wenn die Verwendung für eines von drei Zielen unbedingt erforderlich ist. Die Mitgliedstaaten können entscheiden, ob und unter welchen Bedingungen sie eine solche Verwendung überhaupt zulassen (Artikel 5 Absatz 5).
Drei Ziele sind zulässig
Die Verwendung ist nur zulässig, wenn sie unbedingt erforderlich ist für: die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie nach vermissten Personen; das Abwenden einer konkreten, erheblichen und unmittelbaren Gefahr für Leben oder körperliche Unversehrtheit oder einer tatsächlichen und bestehenden oder vorhersehbaren Gefahr eines Terroranschlags; oder das Aufspüren oder Identifizieren eines Verdächtigen einer in Anhang II genannten Straftat für Ermittlungen, Strafverfolgung oder Strafvollstreckung. Die Straftat muss mit einer Freiheitsstrafe oder freiheitsentziehenden Maßregel von mindestens vier Jahren im Höchstmaß bedroht sein (Artikel 5 Absatz 1 Buchstabe h).
Vorherige Genehmigung und Schutzvorkehrungen sind erforderlich
Jede Verwendung braucht die vorherige Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung bindend ist. In einer hinreichend begründeten Dringlichkeit darf die Verwendung ohne Genehmigung beginnen, wenn diese unverzüglich, spätestens binnen 24 Stunden, beantragt wird. Wird sie abgelehnt, wird die Verwendung beendet und alle Daten und Ergebnisse werden gelöscht (Artikel 5 Absatz 3). Für die Genehmigung einer Verwendung sind außerdem eine abgeschlossene Grundrechte-Folgenabschätzung und die Registrierung in der EU-Datenbank erforderlich. In dringenden Fällen darf die Registrierung unverzüglich nachgeholt werden (Artikel 5 Absatz 2). Jede Verwendung ist außerdem der Marktüberwachungsbehörde und der nationalen Datenschutzbehörde mitzuteilen (Artikel 5 Absatz 4).
Nachträgliche Identifizierung ist Hochrisiko, nicht verboten
Biometrische Fernidentifizierung, die nicht in Echtzeit erfolgt, ist nicht verboten. Sie ist ein Hochrisiko-Anwendungsfall nach Anhang III Nummer 1 Buchstabe a. Bei der gezielten Suche nach einer Person, die einer Straftat verdächtigt wird oder deswegen verurteilt wurde, muss der Betreiber vor der Verwendung oder unverzüglich, spätestens binnen 48 Stunden, die Genehmigung einer Justizbehörde oder einer Verwaltungsbehörde beantragen, deren Entscheidung bindend ist und gerichtlich überprüft werden kann. Das gilt nicht für die Erstidentifizierung eines potenziellen Verdächtigen anhand objektiver und überprüfbarer Tatsachen, die in unmittelbarem Zusammenhang mit der Straftat stehen (Artikel 26 Absatz 10).
Häufig gestellte Fragen
Gilt das Social-Scoring-Verbot für private Unternehmen?
Ja. Artikel 5 Absatz 1 Buchstabe c verbietet Social-Scoring-Systeme, ohne das Verbot auf Behörden zu beschränken. Erfasst sind Akteure, die ein solches System in Verkehr bringen, in Betrieb nehmen oder verwenden, im Rahmen des Artikels 2. Artikel 2 nimmt unter anderem aus: militärische, Verteidigungs- und nationale Sicherheitszwecke (Absatz 3), bestimmte Behörden aus Drittländern (Absatz 4), Systeme allein für die wissenschaftliche Forschung (Absatz 6), Forschung und Tests vor dem Inverkehrbringen (Absatz 8) sowie die rein private, nicht berufliche Nutzung durch natürliche Personen (Absatz 10).
Wie prüfe ich meine KI-Systeme auf verbotene Praktiken?
Vergleichen Sie Zweckbestimmung und tatsächliche Verwendung jedes Systems mit den zehn Praktiken in Artikel 5 Absatz 1 und halten Sie das Ergebnis je System fest. Scanara unterstützt Sie dabei mit einer geführten Prüfung nach Artikel 5 und regelbasierten Code-Prüfungen auf erkennbare Muster. Absicht und Kontext erfordern Ihre Beurteilung, und die Entscheidung bleibt bei Ihnen.
Verwandte Leitfäden
KI-Verordnung: Fristen von 2024 bis 2030 im Zeitplan
Jedes Anwendungsdatum der Verordnung, mit dem Artikel dahinter.
KI-Verordnung vs. DSGVO: Unterschiede und Überschneidungen
Beide Gesetze gelten nebeneinander. Artikel 5 lässt Artikel 9 DSGVO für biometrische Daten außerhalb der Strafverfolgung unberührt.
Scanara bereitet Nachweise aus Ihren Repositorien vor
Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.