Artikel 12 für Bildungs-KI: Aufzeichnungspflichten

Artikel 12 ist eine Konzeptionspflicht des Anbieters. Er macht den Betreiber nicht für die Konzeption der Protokolle verantwortlich.

• Art. 12(1)
  Automatische Aufzeichnung von Ereignissen über den Lebenszyklus

  Die Technik von Hochrisiko-KI-Systemen muss die automatische Aufzeichnung von Ereignissen (Protokollierung) während des Lebenszyklus des Systems ermöglichen.

• Art. 12(2)
  Rückverfolgbarkeit für drei Zwecke

  Zur Gewährleistung, dass das Funktionieren des Systems in einem seiner Zweckbestimmung angemessenen Maße rückverfolgbar ist, müssen die Protokollierungsfunktionen die Aufzeichnung von Ereignissen ermöglichen, die für Folgendes relevant sind: a) die Ermittlung von Situationen, die dazu führen können, dass das System ein Risiko im Sinne von Artikel 79 Absatz 1 birgt oder dass es zu einer wesentlichen Veränderung kommt; b) die Erleichterung der Beobachtung nach dem Inverkehrbringen gemäß Artikel 72; und c) die Überwachung des Betriebs des Systems gemäß Artikel 26 Absatz 5.

• Art. 12(3)
  Mindestinhalt der Protokolle: nur Anhang III Nummer 1 Buchstabe a

  Artikel 12 Absatz 3 legt den Mindestinhalt der Protokolle für die Hochrisiko-KI-Systeme fest, die in Nummer 1 Buchstabe a von Anhang III genannt sind. Er gilt nicht für Nummer 3. Artikel 12 nennt keine Protokollfelder für Systeme der Bildung.

Artikel 12 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Zeilen zeigen, wo Bildungs-KI hochriskant wird und wer die Protokolle aufbewahrt.

• Die Verordnung enthält keine sektorweite Regelung für die Bildung

  Die Verordnung enthält keine sektorweite Regelung für die Bildung. Anhang III Nummer 3 ist der Hochrisiko-Bereich mit der Überschrift „Allgemeine und berufliche Bildung“. Diese Website verwendet das Wort Bildung für KI, die über diese Nummer unter die Verordnung fällt. Nummer 3 nennt vier Verwendungen. a) KI-Systeme, die bestimmungsgemäß zur Feststellung des Zugangs oder der Zulassung oder zur Zuweisung natürlicher Personen zu Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung verwendet werden sollen. b) KI-Systeme, die bestimmungsgemäß für die Bewertung von Lernergebnissen verwendet werden sollen, einschließlich des Falles, dass diese Ergebnisse dazu dienen, den Lernprozess natürlicher Personen zu steuern. c) KI-Systeme, die bestimmungsgemäß zum Zweck der Bewertung des angemessenen Bildungsniveaus, das eine Person erhalten wird oder zu dem sie Zugang erhalten wird, verwendet werden sollen. d) KI-Systeme, die bestimmungsgemäß zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen verwendet werden sollen. Jede Verwendung ist an Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung geknüpft. Nummer 3 nennt weder Plagiats- oder KI-Text-Erkennung noch Abbruchvorhersage, Lern-Dashboards, Verwaltungs-Chatbots oder adaptives Lernen als solche. Ein System für eine dieser Verwendungen ist nur dann hochriskant, wenn seine Zweckbestimmung zu einer der vier Verwendungen passt oder wenn ein anderer Punkt von Anhang III oder Anhang I es erfasst.

• Die Ableitung von Emotionen in Bildungseinrichtungen: verboten, mit einer Ausnahme aus medizinischen Gründen oder Sicherheitsgründen

  Artikel 5 Absatz 1 Buchstabe f verbietet das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder Sicherheitsgründen eingeführt oder auf den Markt gebracht werden. Das Verbot gilt ab dem 2. Februar 2025 (Artikel 113 Buchstabe a). Es ist ein Verbot, keine Hochrisiko-Verwendung: Die Ausnahme begründet keine Pflicht und ist kein Anknüpfungspunkt in Anhang III. Ein Verstoß wird mit einer Geldbuße von bis zu 35 Mio. EUR oder, bei Unternehmen, von bis zu 7 % des gesamten weltweiten Jahresumsatzes geahndet, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6).

• Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

  Ein System nach Nummer 3 ist nach Artikel 6 Absatz 2 hochriskant. Abweichend davon gilt ein System nach Anhang III gemäß Artikel 6 Absatz 3 nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Das gilt, wenn eine von vier Bedingungen erfüllt ist: a) das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen; b) es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern; c) es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder d) es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. Ein System nach Anhang III gilt immer als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt (Artikel 3 Nummer 52, Artikel 4 Nummer 4 DSGVO). Ein Anbieter, der der Auffassung ist, dass sein System nach Anhang III nicht hochriskant ist, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und registriert es (Artikel 6 Absatz 4, Artikel 49 Absatz 2). Ob ein bestimmtes Bildungssystem ein Profiling vornimmt, ist eine Frage für Ihre Rechtsberatung.

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Eine Schule, Hochschule oder Prüfungsstelle, die ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Eine Hochschule, die ein System entwickelt und unter eigenem Namen für den Eigengebrauch in Betrieb nimmt, ist daher Anbieter. Ein Betreiber wird in drei Fällen zum Anbieter eines Hochrisiko-KI-Systems: Er versieht ein bereits in Verkehr gebrachtes System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen; er nimmt eine wesentliche Veränderung vor, durch die das System ein Hochrisiko-KI-System bleibt; oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1).

• Anbieter: Konzeption und Aufbewahrung der Protokolle unter ihrer Kontrolle

  Der Anbieter konzipiert die Protokollierungsfunktion (Artikel 12). Anbieter von Hochrisiko-KI-Systemen bewahren außerdem die in Artikel 12 Absatz 1 genannten Protokolle auf, die ihre Systeme automatisch erzeugen, soweit diese Protokolle ihrer Kontrolle unterliegen, für einen der Zweckbestimmung angemessenen Zeitraum von mindestens sechs Monaten, sofern in den geltenden Rechtsvorschriften der Union, insbesondere im Unionsrecht zum Schutz personenbezogener Daten, oder im geltenden nationalen Recht nichts anderes vorgesehen ist (Artikel 19 Absatz 1).

• Betreiber: Aufbewahrung der Protokolle unter ihrer Kontrolle

  Betreiber von Hochrisiko-KI-Systemen bewahren die vom System automatisch erzeugten Protokolle, soweit diese Protokolle ihrer Kontrolle unterliegen, für einen der Zweckbestimmung angemessenen Zeitraum von mindestens sechs Monaten auf, sofern im geltenden Unionsrecht, insbesondere im Unionsrecht über den Schutz personenbezogener Daten, oder im geltenden nationalen Recht nichts anderes bestimmt ist (Artikel 26 Absatz 6). Betreiber überwachen außerdem den Betrieb des Systems anhand der Betriebsanleitung (Artikel 26 Absatz 5).

• Termine

  Kapitel III Abschnitte 1 bis 3, zu denen die Artikel 9 bis 15, 17, 26 und 27 gehören, gelten für KI-Systeme, die gemäß Artikel 6 Absatz 2 und Anhang III als hochriskant eingestuft sind, ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es ab diesem Termin erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen die Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Erfüllung der in der Verordnung festgelegten Anforderungen und Pflichten bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verordnung sagt nicht, ob das auch für Systeme gilt, die nach dem 2. Dezember 2027 in Verkehr gebracht oder in Betrieb genommen werden; das ist eine Frage für die Rechtsberatung.

• Geldbußen

  Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Ein Verstoß gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 kann mit einer Geldbuße von bis zu 15 Mio. EUR oder, wenn der Verantwortliche ein Unternehmen ist, von bis zu 3 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Systeme und Verwendungen außerhalb der Verordnung

  Die Verordnung gilt für Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind, sowie für Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstaben a und c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt keinesfalls die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, und auch nicht für KI-Systeme, die nicht in der Union in Verkehr gebracht oder in Betrieb genommen werden, wenn die Ausgaben in der Union ausschließlich für solche Zwecke verwendet werden, jeweils unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). Sie gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung, es sei denn, sie werden als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen oder fallen unter Artikel 5 oder 50 (Artikel 2 Absatz 12).

• Was Artikel 12 nicht festlegt

  Artikel 12 nennt die Zwecke der Protokollierungsfunktion, nicht die Felder. Er sagt nicht, dass Protokolle unveränderbar sein müssen, dass jede Entscheidung oder Note protokolliert werden muss oder dass eine Modell- oder Bewertungsrasterversion aufgezeichnet werden muss. Die Verordnung selbst nennt keine Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1).

• Beispiel: Ereignisse bei einem System zur Prüfungsüberwachung

  Beispiel, keine Vorgabe der KI-Verordnung: Der Anbieter eines Systems, das verbotenes Verhalten bei Prüfungen erkennt, könnte Beginn und Ende jeder Verwendung und jeden ausgelösten Alarm protokollieren, weil solche Ereignisse für die Ermittlung von Risiken und für die Beobachtung nach dem Inverkehrbringen von Bedeutung sein können (Artikel 12 Absatz 2 Buchstaben a und b).

• Aufbewahrung und Datenschutzrecht

  Die Verordnung legt für Protokolle unter der Kontrolle von Anbietern und Betreibern eine Mindestfrist von sechs Monaten fest und bestimmt, dass Unionsrecht oder nationales Recht, insbesondere das Unionsrecht über den Schutz personenbezogener Daten, etwas anderes vorsehen kann. Wie lange Protokolle mit personenbezogenen Daten von Lernenden aufbewahrt werden dürfen, bestimmt daher auch dieses Recht.

• Artikel 12 KI-Verordnung: Aufzeichnungspflicht & Protokollierung

  Artikel 12 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung EdTech: Compliance für Bildung

  Die Übersicht zur Bildung: Wie die Verordnung KI für Zulassung, Benotung, Bewertung des Bildungsniveaus und Prüfungsüberwachung erfasst.

• Artikel 13 für Bildungs-KI: Transparenz und Information der Betreiber

  Bildungs-KI und Artikel 13: Betriebsanleitung und Information der Betreiber.

• Artikel 26: Betreiberpflichten für Hochrisiko-KI

  Was Betreiber von Hochrisiko-KI-Systemen tun müssen, einschließlich der Aufbewahrung von Protokollen und der Information betroffener Personen.