KI-Verordnung EdTech: Compliance für Bildung

Die Verordnung enthält keine sektorweite Regelung für die Bildung. Diese Website verwendet das Wort für KI, die über Anhang III Nummer 3 mit der Überschrift „Allgemeine und berufliche Bildung“ und über die folgenden Regeln unter die Verordnung fällt.

• Zugang und Zulassung: Anhang III Nummer 3 Buchstabe a

  KI-Systeme, die bestimmungsgemäß zur Feststellung des Zugangs oder der Zulassung oder zur Zuweisung natürlicher Personen zu Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung verwendet werden sollen, sind hochriskant.

• Lernergebnisse: Anhang III Nummer 3 Buchstabe b

  KI-Systeme, die bestimmungsgemäß für die Bewertung von Lernergebnissen verwendet werden sollen, einschließlich des Falles, dass diese Ergebnisse dazu dienen, den Lernprozess natürlicher Personen zu steuern, sind hochriskant.

• Bildungsniveau: Anhang III Nummer 3 Buchstabe c

  KI-Systeme, die bestimmungsgemäß zum Zweck der Bewertung des angemessenen Bildungsniveaus, das eine Person erhalten wird oder zu dem sie Zugang erhalten wird, verwendet werden sollen, sind hochriskant.

• Überwachung bei Prüfungen: Anhang III Nummer 3 Buchstabe d

  KI-Systeme, die bestimmungsgemäß zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen verwendet werden sollen, sind hochriskant. Jede der vier Verwendungen ist an Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung geknüpft. Nummer 3 Buchstabe d nennt Prüfungen.

• Verwendungen, die Nummer 3 nicht nennt

  Nummer 3 nennt weder Plagiats- oder KI-Text-Erkennung noch Abbruchvorhersage, Lern-Dashboards, Verwaltungs-Chatbots oder adaptives Lernen als solche. Ein System für eine dieser Verwendungen ist nur dann hochriskant, wenn seine Zweckbestimmung zu einer der Nummern 3 Buchstaben a bis d passt oder wenn ein anderer Punkt von Anhang III oder Anhang I es erfasst.

• Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

  Ein System nach Nummer 3 ist nach Artikel 6 Absatz 2 hochriskant. Abweichend davon gilt ein System nach Anhang III gemäß Artikel 6 Absatz 3 nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Das gilt, wenn eine von vier Bedingungen erfüllt ist: a) das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen; b) es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern; c) es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder d) es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. Ein System nach Anhang III gilt immer als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt (Artikel 3 Nummer 52, Artikel 4 Nummer 4 DSGVO). Ein Anbieter, der der Auffassung ist, dass sein System nach Anhang III nicht hochriskant ist, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und registriert es (Artikel 6 Absatz 4, Artikel 49 Absatz 2). Ob ein bestimmtes Bildungssystem ein Profiling vornimmt, ist eine Frage für Ihre Rechtsberatung.

• Die Ableitung von Emotionen in Bildungseinrichtungen: verboten, mit einer Ausnahme aus medizinischen Gründen oder Sicherheitsgründen

  Artikel 5 Absatz 1 Buchstabe f verbietet das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder Sicherheitsgründen eingeführt oder auf den Markt gebracht werden. Das Verbot gilt ab dem 2. Februar 2025 (Artikel 113 Buchstabe a). Es ist ein Verbot, keine Hochrisiko-Verwendung: Die Ausnahme begründet keine Pflicht und ist kein Anknüpfungspunkt in Anhang III. Eine Funktion eines Bildungssystems, die Emotionen von Lernenden ableitet, fällt unter Buchstabe f, sofern die Ausnahme nicht greift. Ein Verstoß wird mit einer Geldbuße von bis zu 35 Mio. EUR oder, bei Unternehmen, von bis zu 7 % des gesamten weltweiten Jahresumsatzes geahndet, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6).

• Weitere Vorschriften der Verordnung, die Bildungs-KI erfassen können

  Artikel 4 verlangt von Anbietern und Betreibern von KI-Systemen, Maßnahmen zu ergreifen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind; Kapitel I gilt ab dem 2. Februar 2025. Artikel 50 legt Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme fest; er nennt keinen Fall der Bildung und gilt ab dem allgemeinen Geltungsbeginn, dem 2. August 2026. Artikel 53 legt Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck fest; er nennt keinen Fall der Bildung.

Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Eine Schule, Hochschule oder Prüfungsstelle, die ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Eine Hochschule, die ein System entwickelt und unter eigenem Namen für den Eigengebrauch in Betrieb nimmt, ist daher Anbieter. Ein Betreiber wird in drei Fällen zum Anbieter eines Hochrisiko-KI-Systems: Er versieht ein bereits in Verkehr gebrachtes System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen; er nimmt eine wesentliche Veränderung vor, durch die das System ein Hochrisiko-KI-System bleibt; oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1).

Der Anbieter eines Hochrisiko-KI-Systems für die Bildung trägt die folgenden Konzeptionspflichten. Jede unter „Artikelseiten für die Bildung“ verlinkte Seite behandelt eine davon.

• Art. 9
  Risikomanagementsystem

  Ein kontinuierlicher iterativer Prozess über den Lebenszyklus, mit Tests anhand vorab festgelegter Metriken und unter Berücksichtigung von Personen unter 18 Jahren.

• Art. 10
  Daten und Daten-Governance

  Trainings-, Validierungs- und Testdatensätze, die die Qualitätskriterien erfüllen, mit einer Untersuchung auf Verzerrungen und Verfahren der Daten-Governance.

• Art. 12
  Aufzeichnungspflichten

  Die Technik des Systems ermöglicht die automatische Aufzeichnung von Ereignissen (Protokollierung) während seines Lebenszyklus.

• Art. 13
  Transparenz und Betriebsanleitung

  Ein Betrieb, der für die Betreiber hinreichend transparent ist, damit sie die Ausgabe interpretieren können, mit einer Betriebsanleitung, die mindestens die Angaben nach Artikel 13 Absatz 3 enthält.

• Art. 14
  Menschliche Aufsicht

  Eine Konzeption, die eine wirksame Aufsicht durch natürliche Personen ermöglicht, solange das System verwendet wird.

• Art. 15
  Genauigkeit, Robustheit und Cybersicherheit

  Ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit über den gesamten Lebenszyklus; die Maße an Genauigkeit und die relevanten Metriken werden in der Betriebsanleitung angegeben. Betreiber haben keine Pflicht nach Artikel 15.

• Art. 17
  Qualitätsmanagementsystem

  Ein dokumentiertes Qualitätsmanagementsystem. Seine Umsetzung steht in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters, insbesondere bei KMU und kleinen Midcap-Unternehmen, die in jedem Fall den erforderlichen Grad der Strenge einhalten müssen (Artikel 17 Absatz 2).

• Art. 43(2), 47–49
  Konformitätsbewertung und Registrierung

  Bei Systemen nach den Nummern 2 bis 8 von Anhang III, zu denen Nummer 3 gehört, befolgt der Anbieter das Konformitätsbewertungsverfahren auf der Grundlage einer internen Kontrolle (Anhang VI), ohne Beteiligung einer notifizierten Stelle (Artikel 43 Absatz 2). Er stellt die EU-Konformitätserklärung aus (Artikel 47), bringt die CE-Kennzeichnung an (Artikel 48) und registriert sich und das System in der EU-Datenbank (Artikel 49 Absatz 1), bevor er das System in Verkehr bringt oder in Betrieb nimmt.

• Art. 26(1)–(3)
  Verwendung entsprechend der Anleitung, Aufsicht übertragen

  Betreiber treffen geeignete technische und organisatorische Maßnahmen, um das System entsprechend der Betriebsanleitung zu verwenden, und übertragen die menschliche Aufsicht natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, und lassen ihnen die erforderliche Unterstützung zukommen. Diese Pflichten lassen sonstige Pflichten der Betreiber nach Unionsrecht oder nationalem Recht unberührt (Artikel 26 Absätze 1 bis 3).

• Art. 26(4)–(6)
  Eingabedaten, Überwachung und Protokolle

  Soweit der Betreiber die Eingabedaten kontrolliert, sorgt er dafür, dass sie im Hinblick auf die Zweckbestimmung relevant und ausreichend repräsentativ sind. Er überwacht den Betrieb des Systems anhand der Betriebsanleitung; haben Betreiber Grund zu der Annahme, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass das System ein Risiko im Sinne von Artikel 79 Absatz 1 birgt, so informieren sie unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung aus. Er bewahrt die Protokolle, die seiner Kontrolle unterliegen, mindestens sechs Monate auf, sofern Unionsrecht oder nationales Recht nichts anderes vorsieht (Artikel 26 Absätze 4 bis 6).

• Art. 26(8)
  Behörden: Registrierung

  Betreiber, bei denen es sich um Behörden oder Organe, Einrichtungen oder sonstige Stellen der Union handelt, kommen den Registrierungspflichten nach Artikel 49 nach und verwenden kein System, das nicht in der EU-Datenbank registriert wurde (Artikel 26 Absatz 8, Artikel 49 Absatz 3).

• Art. 26(9)
  Datenschutz-Folgenabschätzung, soweit anwendbar

  Betreiber verwenden gegebenenfalls die gemäß Artikel 13 bereitgestellten Informationen, um ihrer Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung gemäß Artikel 35 der DSGVO nachzukommen (Artikel 26 Absatz 9). Ob diese Pflicht besteht, bestimmt das Datenschutzrecht.

• Art. 26(11)
  Information der betroffenen Personen

  Unbeschadet von Artikel 50 informieren Betreiber von Hochrisiko-KI-Systemen nach Anhang III, die natürliche Personen betreffende Entscheidungen treffen oder dabei Unterstützung leisten, diese darüber, dass sie der Verwendung des Systems unterliegen (Artikel 26 Absatz 11). Das ist die Informationspflicht der Verordnung gegenüber Lernenden. Sie ist nicht Artikel 50 Absatz 1.

• Art. 27
  Grundrechte-Folgenabschätzung

  Vor der Inbetriebnahme eines Hochrisiko-KI-Systems führen Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, eine Abschätzung der Auswirkungen auf die Grundrechte durch und teilen der Marktüberwachungsbehörde deren Ergebnisse mit; in dem in Artikel 46 Absatz 1 genannten Fall können Betreiber von dieser Mitteilungspflicht befreit werden. Die Pflicht schließt Nummer 2 von Anhang III aus und erfasst Nummer 3 (Artikel 27 Absätze 1 und 3). Die Verordnung nennt keine Schule oder Hochschule; ob eine bestimmte Einrichtung eine Einrichtung des öffentlichen Rechts oder eine private Einrichtung ist, die öffentliche Dienste erbringt, ist eine Frage des nationalen Rechts und für die Rechtsberatung.

• Art. 86
  Recht auf Erläuterung

  Personen, die von einer Entscheidung betroffen sind, die der Betreiber auf der Grundlage der Ausgaben eines in Anhang III aufgeführten Systems (mit Ausnahme von Nummer 2) getroffen hat und die rechtliche Auswirkungen hat oder sie in ähnlicher Art erheblich auf eine Weise beeinträchtigt, die ihrer Ansicht nach ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte beeinträchtigt, haben das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zu erhalten (Artikel 86).

• Art. 4
  KI-Kompetenz des Personals

  Betreiber ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind. Diese Verpflichtung verpflichtet sie nicht, für irgendeine Person ein bestimmtes Niveau an KI-Kompetenz zu garantieren (Artikel 4).

• Termine

  Kapitel III Abschnitte 1 bis 3, zu denen die Artikel 9 bis 15, 17, 26 und 27 gehören, gelten für KI-Systeme, die gemäß Artikel 6 Absatz 2 und Anhang III als hochriskant eingestuft sind, ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es ab diesem Termin erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen die Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Erfüllung der in der Verordnung festgelegten Anforderungen und Pflichten bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verordnung sagt nicht, ob das auch für Systeme gilt, die nach dem 2. Dezember 2027 in Verkehr gebracht oder in Betrieb genommen werden; das ist eine Frage für die Rechtsberatung.

• Geldbußen

  Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Ein Verstoß gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 kann mit einer Geldbuße von bis zu 15 Mio. EUR oder, wenn der Verantwortliche ein Unternehmen ist, von bis zu 3 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Systeme und Verwendungen außerhalb der Verordnung

  Die Verordnung gilt für Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind, sowie für Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstaben a und c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt keinesfalls die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, und auch nicht für KI-Systeme, die nicht in der Union in Verkehr gebracht oder in Betrieb genommen werden, wenn die Ausgaben in der Union ausschließlich für solche Zwecke verwendet werden, jeweils unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). Sie gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung, es sei denn, sie werden als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen oder fallen unter Artikel 5 oder 50 (Artikel 2 Absatz 12).

• Keine bildungsspezifischen Werte

  Über Anhang III Nummer 3 und Artikel 5 Absatz 1 Buchstabe f hinaus enthält die Verordnung keine bildungsspezifische Regel. Sie nennt für die Bildung keinen Genauigkeitswert, keine Aufbewahrungsfrist über die Mindestfrist von sechs Monaten hinaus, keine Testhäufigkeit und keine Verzerrungsschwelle. Die Verordnung selbst nennt keine Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien zur Anwendung der Artikel 8 bis 15, 25 und 26 (Artikel 96 Absatz 1 Buchstabe a) und zu den verbotenen Praktiken (Artikel 96 Absatz 1 Buchstabe b).

• Wer eine Einrichtung des öffentlichen Rechts ist

  Artikel 27 Absatz 1 und Artikel 26 Absatz 8 gelten für Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, und Behörden. Die Verordnung definiert diese Begriffe nicht für Schulen oder Hochschulen. Das nationale Recht bestimmt, wie eine Einrichtung eingestuft wird.

• Werkzeuge, die nicht genannt sind

  Ob ein Plagiatsprüfer, ein Abbruchprädiktor oder ein adaptives Lernwerkzeug hochriskant ist, hängt von seiner vom Anbieter festgelegten Zweckbestimmung ab, gelesen anhand von Nummer 3 Buchstaben a bis d. Die Verordnung enthält keine Liste solcher Werkzeuge.

Eine Seite für jeden Artikel, der für Anbieter und Betreiber im Bildungsbereich am wichtigsten ist.

• Artikel 9 für Bildungs-KI: Risikomanagementsystem

  Risikomanagementsystem, einschließlich Personen unter 18 Jahren.

• Artikel 10 für Bildungs-KI: Daten und Daten-Governance

  Datensätze, Untersuchung auf Verzerrungen und besondere Kategorien personenbezogener Daten.

• Artikel 12 für Bildungs-KI: Aufzeichnungspflichten

  Automatische Aufzeichnung von Ereignissen und Aufbewahrung der Protokolle.

• Artikel 13 für Bildungs-KI: Transparenz und Information der Betreiber

  Betriebsanleitung und Information der Betreiber.

• Artikel 14 für Bildungs-KI: Menschliche Aufsicht

  Menschliche Aufsicht durch Konzeption und die Rolle des Betreibers.

• Artikel 15 für KI im Bildungsbereich: Genauigkeit, Robustheit und Cybersicherheit

  Genauigkeit, Robustheit und Cybersicherheit.

• Artikel 17 für KI im Bildungsbereich: Qualitätsmanagementsystem

  Qualitätsmanagementsystem für Anbieter.

• Artikel 26 im Bildungsbereich: Pflichten der Betreiber

  Was Betreiber von Hochrisiko-KI-Systemen tun müssen.

• Artikel 50 für KI im Bildungsbereich: Transparenz und Offenlegung

  Transparenzpflichten für bestimmte KI-Systeme.

• Artikel 53 im Bildungsbereich: Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

  Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck.

• Anhang III im Detail: Alle 8 Hochrisiko-Kategorien

  Alle acht Bereiche von Anhang III, einschließlich Nummer 3 zur allgemeinen und beruflichen Bildung.

• Artikel 6: Klassifizierung von Hochrisiko-KI-Systemen

  Wie Artikel 6 Hochrisiko-KI-Systeme einstuft, einschließlich der Ausnahme nach Artikel 6 Absatz 3.

• Artikel 27: Grundrechte-Folgenabschätzung (FRIA)

  Die Grundrechte-Folgenabschätzung für Betreiber, die Einrichtungen des öffentlichen Rechts oder private Einrichtungen sind, die öffentliche Dienste erbringen.

• Verbotene KI-Praktiken nach Artikel 5 der KI-Verordnung

  Die verbotenen Praktiken nach Artikel 5, einschließlich des Verbots, in Bildungseinrichtungen Emotionen abzuleiten.