KI-Systeme auf die Verbote nach Artikel 5 prüfen
Artikel 5 verbietet zehn KI-Praktiken. Geldbußen: bis zu 35 Mio. EUR oder 7 % des weltweiten Umsatzes, je nachdem, was höher ist.
Akteure dürfen die zehn KI-Praktiken, die Artikel 5 verbietet, weder in Verkehr bringen noch in Betrieb nehmen noch verwenden. Acht Verbote gelten seit dem 2. Februar 2025; zwei weitere gelten ab dem 2. Dezember 2026.
Die Geldbußen betragen bis zu 35 Mio. EUR oder, im Fall eines Unternehmens, bis zu 7 % des gesamten weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3). Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden, fallen nicht unter die Verordnung (Artikel 2 Absatz 3). Nächster Schritt: Vergleichen Sie Zweck und tatsächliche Nutzung jedes KI-Systems mit den zehn Verboten unten.
Zehn Praktiken im KI-Bereich sind verboten
Unterschwellige und manipulative Techniken
Art. 5 Abs. 1 Buchst. aKI-Systeme, die Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzen, um das Verhalten wesentlich zu verändern. Das Verbot gilt, wenn dadurch erheblicher Schaden entsteht oder mit hinreichender Wahrscheinlichkeit entstehen wird.
Ausnutzung von Schutzbedürftigkeit
Art. 5 Abs. 1 Buchst. bKI-Systeme, die eine Schutzbedürftigkeit aufgrund von Alter, Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen, um das Verhalten in einer Weise wesentlich zu verändern, die erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.
Nicht einvernehmlich erstelltes intimes Material
Art. 5 Abs. 1 Buchst. baKI-Systeme, die realistische Bilder, Videos, Audio- oder ähnliches Material der Intimbereiche einer identifizierbaren Person oder dieser Person bei sexuell eindeutigen Handlungen erzeugen oder manipulieren, ohne ihre freiwillige, spezifische, informierte, unmissverständliche und ausdrückliche Einwilligung. Eine Manipulation, die die Sichtbarkeit der Intimbereiche nicht erhöht und die Art der Handlungen nicht verändert, zählt nicht (Artikel 5 Absatz 1b). Anbieter sind nur erfasst, wenn dies der Zweckbestimmung des Systems entspricht oder wenn Konzeption, Training, Architektur, Fähigkeiten oder nutzerseitige Funktionen dies zu einem vernünftigerweise vorhersehbaren und reproduzierbaren Ergebnis ohne wesentliche technische Änderung machen und das System keine angemessenen und ausreichenden Schutzvorkehrungen hat, um dies zu verhindern und zu korrigieren. Betreiber sind erfasst, wenn sie ein System zu diesem Zweck verwenden (Artikel 5 Absatz 1a). Gilt ab dem 2. Dezember 2026.
Darstellungen von sexuellem Missbrauch von Kindern
Art. 5 Abs. 1 Buchst. bbKI-Systeme, die Material oder Darbietungen im Sinne von Artikel 2 Buchstaben c und e der Richtlinie 2011/93/EU erzeugen oder manipulieren, es sei denn, nach nationalem Recht greift eine „Ohne-Recht“-Ausnahme. Für Anbieter und Betreiber gelten dieselben Bedingungen wie für Buchstabe ba (Artikel 5 Absatz 1a). Gilt ab dem 2. Dezember 2026.
Social Scoring
Art. 5 Abs. 1 Buchst. cKI-Systeme, die Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder persönlicher Eigenschaften bewerten oder einstufen, wenn die soziale Bewertung zu Schlechterstellung in nicht zusammenhängenden sozialen Kontexten oder zu ungerechtfertigter oder unverhältnismäßiger Benachteiligung führt. Das Verbot ist nicht auf Behörden beschränkt.
Straftatenprognose allein aus Profiling
Art. 5 Abs. 1 Buchst. dKI-Systeme, die allein auf der Grundlage des Profilings einer Person oder der Bewertung ihrer Persönlichkeitsmerkmale das Risiko bewerten oder vorhersagen, dass sie eine Straftat begeht. KI, die eine menschliche Bewertung auf Grundlage objektiver, überprüfbarer Tatsachen mit unmittelbarem Bezug zu einer kriminellen Aktivität unterstützt, ist nicht verboten.
Ungezieltes Auslesen von Gesichtsbildern
Art. 5 Abs. 1 Buchst. eKI-Systeme, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern.
Emotionserkennung am Arbeitsplatz und in der Bildung
Art. 5 Abs. 1 Buchst. fKI-Systeme, die Emotionen einer Person am Arbeitsplatz oder in Bildungseinrichtungen ableiten. Das Verbot gilt nicht für Systeme, die aus medizinischen Gründen oder Sicherheitsgründen eingesetzt werden sollen.
Biometrische Kategorisierung nach sensiblen Merkmalen
Art. 5 Abs. 1 Buchst. gKI-Systeme, die natürliche Personen individuell anhand ihrer biometrischen Daten kategorisieren, um Rasse, politische Einstellungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Ausrichtung zu erschließen oder abzuleiten. Nicht erfasst sind das Kennzeichnen oder Filtern rechtmäßig erworbener biometrischer Datensätze und die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung.
Biometrische Echtzeit-Fernidentifizierung
Art. 5 Abs. 1 Buchst. hDer Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken ist verboten. Die drei engen Ausnahmen folgen weiter unten.
Für die biometrische Echtzeit-Fernidentifizierung gibt es drei enge Ausnahmen
Das Verbot in Artikel 5 Absatz 1 Buchstabe h gilt nicht, wenn die Verwendung für eines von drei Zielen unbedingt erforderlich ist. Die Mitgliedstaaten können entscheiden, ob und unter welchen Bedingungen sie eine solche Verwendung überhaupt zulassen (Artikel 5 Absatz 5).
Drei Ziele sind zulässig
Die Verwendung ist nur zulässig, wenn sie unbedingt erforderlich ist für: die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie nach vermissten Personen; das Abwenden einer konkreten, erheblichen und unmittelbaren Gefahr für Leben oder körperliche Unversehrtheit oder einer tatsächlichen und bestehenden oder vorhersehbaren Gefahr eines Terroranschlags; oder das Aufspüren oder Identifizieren eines Verdächtigen einer in Anhang II genannten Straftat für Ermittlungen, Strafverfolgung oder Strafvollstreckung. Die Straftat muss mit einer Freiheitsstrafe oder freiheitsentziehenden Maßregel von mindestens vier Jahren im Höchstmaß bedroht sein (Artikel 5 Absatz 1 Buchstabe h).
Vorherige Genehmigung und Schutzvorkehrungen sind erforderlich
Jede Verwendung braucht die vorherige Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung bindend ist. In einer hinreichend begründeten Dringlichkeit darf die Verwendung ohne Genehmigung beginnen, wenn diese unverzüglich, spätestens binnen 24 Stunden, beantragt wird. Wird sie abgelehnt, wird die Verwendung beendet und alle Daten und Ergebnisse werden gelöscht (Artikel 5 Absatz 3). Für die Genehmigung einer Verwendung sind außerdem eine abgeschlossene Grundrechte-Folgenabschätzung und die Registrierung in der EU-Datenbank erforderlich. In dringenden Fällen darf die Registrierung unverzüglich nachgeholt werden (Artikel 5 Absatz 2). Jede Verwendung ist außerdem der Marktüberwachungsbehörde und der nationalen Datenschutzbehörde mitzuteilen (Artikel 5 Absatz 4).
Nachträgliche Identifizierung ist Hochrisiko, nicht verboten
Biometrische Fernidentifizierung, die nicht in Echtzeit erfolgt, ist nicht verboten. Sie ist ein Hochrisiko-Anwendungsfall nach Anhang III Nummer 1 Buchstabe a. Bei der gezielten Suche nach einer Person, die einer Straftat verdächtigt wird oder deswegen verurteilt wurde, muss der Betreiber vor der Verwendung oder unverzüglich, spätestens binnen 48 Stunden, die Genehmigung einer Justizbehörde oder einer Verwaltungsbehörde beantragen, deren Entscheidung bindend ist und gerichtlich überprüft werden kann. Das gilt nicht für die Erstidentifizierung eines potenziellen Verdächtigen anhand objektiver und überprüfbarer Tatsachen, die in unmittelbarem Zusammenhang mit der Straftat stehen (Artikel 26 Absatz 10).
Für die Verbote gelten zwei Geltungsdaten
Buchstaben a bis h: seit dem 2. Februar 2025
Die Verbote in Artikel 5 Absatz 1 Buchstaben a bis h gelten seit dem 2. Februar 2025 (Artikel 113 Buchstabe a). Geldbußen gelten ab dem 2. August 2025.
Buchstaben ba und bb sowie Artikel 5 Absätze 1a und 1b: ab dem 2. Dezember 2026
Die Verbote von nicht einvernehmlichem intimem Material und von Material über sexuellen Kindesmissbrauch gelten mit ihren Bedingungen ab dem 2. Dezember 2026 (Artikel 113 Buchstabe a). Geldbußen gelten ab demselben Datum.
Was die Prüfung von Scanara leistet
Die Prüfung ist eine geführte Bewertung. Scanara entscheidet nicht, ob eine Praxis verboten ist: Absicht und Kontext erfordern Ihre Beurteilung, und die Entscheidung liegt bei Ihnen.
Geführte Prüfung nach Artikel 5
Ein Fragenkatalog deckt die zehn Praktiken nach Artikel 5 Absatz 1 ab. Sie antworten für jedes KI-System; Scanara speichert das Ergebnis als Nachweis.
Regelbasierte Code-Prüfungen
Die Code-Regeln von Scanara markieren Muster, die auf eine verbotene Praxis hindeuten können. Code allein kann weder Absicht noch Kontext belegen; eine Markierung ist daher ein Anlass zur Prüfung.
Die Prüfung kommt zuerst
Die Verbote gelten unabhängig von der Risikoklasse. Scanara bietet die AIRA-Bewertung nicht für ein System an, das die Prüfung als verboten einstuft.
Mehr zu den Verboten und ihren Geltungsdaten
Verbotene KI-Praktiken nach Artikel 5 der KI-Verordnung
Erklärt jedes der zehn Verbote, die Ausnahmen und die Geldbußen ausführlich.
KI-Verordnung: Fristen von 2024 bis 2030 im Zeitplan
Jedes Anwendungsdatum der Verordnung, mit dem Artikel dahinter.
KI-Verordnung vs. DSGVO: Unterschiede und Überschneidungen
Beide Gesetze gelten nebeneinander. Artikel 5 lässt Artikel 9 DSGVO für biometrische Daten außerhalb der Strafverfolgung unberührt.
Häufig gestellte Fragen
Gilt das Social-Scoring-Verbot für private Unternehmen?
Ja. Artikel 5 Absatz 1 Buchstabe c verbietet Social-Scoring-Systeme, ohne das Verbot auf Behörden zu beschränken. Erfasst sind Akteure, die ein solches System in Verkehr bringen, in Betrieb nehmen oder verwenden, im Rahmen des Artikels 2. Artikel 2 nimmt unter anderem aus: militärische, Verteidigungs- und nationale Sicherheitszwecke (Absatz 3), bestimmte Behörden aus Drittländern (Absatz 4), Systeme allein für die wissenschaftliche Forschung (Absatz 6), Forschung und Tests vor dem Inverkehrbringen (Absatz 8) sowie die rein private, nicht berufliche Nutzung durch natürliche Personen (Absatz 10).
Wie prüfe ich meine KI-Systeme auf verbotene Praktiken?
Vergleichen Sie Zweckbestimmung und tatsächliche Verwendung jedes Systems mit den zehn Praktiken in Artikel 5 Absatz 1 und halten Sie das Ergebnis je System fest. Scanara unterstützt Sie dabei mit einer geführten Prüfung nach Artikel 5 und regelbasierten Code-Prüfungen auf erkennbare Muster. Absicht und Kontext erfordern Ihre Beurteilung, und die Entscheidung bleibt bei Ihnen.
Welche Verbote gelten ab dem 2. Dezember 2026?
Die Verbote von nicht einvernehmlichem intimem Material (Buchstabe ba) und von Material über sexuellen Kindesmissbrauch (Buchstabe bb) sowie Artikel 5 Absätze 1a und 1b (Artikel 113 Buchstabe a). Für Anbieter gelten sie nur, wenn die Erzeugung solchen Materials der Zweck des Systems ist oder ein vernünftigerweise vorhersehbares und reproduzierbares Ergebnis ohne angemessene Schutzvorkehrungen (Artikel 5 Absatz 1a Buchstabe a).
Haben die Verbote Ausnahmen?
Der Wortlaut unterscheidet sich je nach Buchstabe. Buchstabe d gilt nicht für KI, die eine menschliche Bewertung unterstützt, die bereits auf objektiven und überprüfbaren Tatsachen mit direktem Bezug zu einer kriminellen Tätigkeit beruht. Buchstabe f nimmt Systeme aus, die aus medizinischen Gründen oder Sicherheitsgründen vorgesehen sind. Buchstabe g erfasst weder das Kennzeichnen oder Filtern rechtmäßig erworbener biometrischer Datensätze noch die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung. Buchstabe h erlaubt drei eng gefasste Ziele unter strengen Bedingungen. Buchstabe bb gilt nicht, wenn nach nationalem Recht ein Einwand des „fehlenden Rechts“ greift.
Scanara bereitet Nachweise aus Ihren Repositorien vor
Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.