Artikel 26 im Bildungsbereich: Pflichten der Betreiber

Artikel 26 legt diese Pflichten für Betreiber von Hochrisiko-KI-Systemen fest.

• Art. 26(1)
  Nach der Betriebsanleitung verwenden

  Geeignete technische und organisatorische Maßnahmen ergreifen, um das System gemäß der Betriebsanleitung zu verwenden.

• Art. 26(2)
  Menschliche Aufsicht zuweisen

  Die menschliche Aufsicht natürlichen Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis sowie die nötige Unterstützung verfügen.

• Art. 26(4)
  Eingabedaten prüfen

  Soweit der Betreiber die Kontrolle über die Eingabedaten ausübt, sicherstellen, dass sie der Zweckbestimmung entsprechen und ausreichend repräsentativ sind.

• Art. 26(5)
  Überwachen, informieren, aussetzen

  Den Betrieb anhand der Betriebsanleitung überwachen und gegebenenfalls die Anbieter nach Artikel 72 informieren. Kann die Nutzung gemäß der Betriebsanleitung ein Risiko im Sinne von Artikel 79 Absatz 1 bergen, unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde informieren und die Nutzung aussetzen. Nach einem schwerwiegenden Vorfall sofort zuerst den Anbieter, dann den Einführer oder Händler und die Marktüberwachungsbehörden informieren. Ist der Anbieter nicht erreichbar, gilt Artikel 73 entsprechend.

• Art. 26(6)
  Protokolle aufbewahren

  Die vom System automatisch erzeugten Protokolle aufbewahren, soweit sie der Kontrolle des Betreibers unterliegen, für einen der Zweckbestimmung angemessenen Zeitraum von mindestens sechs Monaten, sofern im Unionsrecht oder im nationalen Recht, insbesondere zum Schutz personenbezogener Daten, nichts anderes bestimmt ist.

• Art. 26(7)
  Beschäftigte informieren

  Arbeitgeber müssen die Arbeitnehmervertreter und die betroffenen Beschäftigten, bevor sie ein Hochrisiko-KI-System am Arbeitsplatz in Betrieb nehmen oder verwenden, darüber informieren, dass sie der Verwendung des Systems unterliegen werden. Die Information erfolgt, soweit zutreffend, nach den Regeln und Verfahren des Unionsrechts und des nationalen Rechts und der nationalen Praxis zur Information von Arbeitnehmern und ihren Vertretern.

• Art. 26(8)
  Behörden registrieren

  Betreiber, die Behörden oder Organe, Einrichtungen oder sonstige Stellen der Union sind, müssen die Registrierungspflichten nach Artikel 49 erfüllen, die Systeme nach Anhang III betreffen. Sie dürfen ein System, das nicht in der EU-Datenbank registriert ist, nicht verwenden.

• Art. 26(9)
  Datenschutz-Folgenabschätzung

  Gegebenenfalls die vom Anbieter nach Artikel 13 bereitgestellten Informationen für die Datenschutz-Folgenabschätzung nach Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 nutzen.

• Art. 26(11)
  Von Entscheidungen betroffene Personen informieren

  Bei Systemen nach Anhang III, die Entscheidungen über natürliche Personen treffen oder dabei unterstützen, diese Personen darüber informieren, dass sie dem System ausgesetzt sind, unbeschadet des Artikels 50.

• Art. 26(12)
  Mit Behörden zusammenarbeiten

  Mit den zuständigen Behörden bei allen Maßnahmen zusammenarbeiten, die diese in Bezug auf das Hochrisiko-KI-System ergreifen.

Artikel 26 gilt nur für Betreiber von Hochrisiko-KI-Systemen. Die Zeilen unten zeigen, wo KI im Bildungsbereich hochriskant wird und welche weiteren Regeln Schulen und Hochschulen betreffen.

• Wo „Bildung“ in der Verordnung steht

  Die Verordnung kennt kein sektorweites Regelwerk für Bildung. Diese Website verwendet „Bildung“ für KI in Schulen, Hochschulen, der beruflichen Bildung und bei Prüfungen. Solche KI erreicht die Verordnung über Anhang III Nummer 3 mit der Überschrift „Allgemeine und berufliche Bildung“ und über das Verbot, Emotionen in Bildungseinrichtungen abzuleiten (Artikel 5 Absatz 1 Buchstabe f). Nummer 3 nennt weder Plagiatserkennung noch Abbruchprognosen, adaptive Lernplattformen, Lern-Dashboards oder Verwaltungs-Chatbots; ob ein System darunter fällt, folgt aus der Zweckbestimmung (Artikel 3 Nummer 12). Ein System kann auch nach einer anderen Nummer von Anhang III hochriskant sein.

• Anhang III Nummer 3: vier Einsatzzwecke

  Anhang III Nummer 3 erfasst KI-Systeme, die bestimmungsgemäß verwendet werden sollen: a) zur Feststellung des Zugangs oder der Zulassung oder zur Zuweisung natürlicher Personen zu Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung; b) für die Bewertung von Lernergebnissen, einschließlich des Falles, dass diese Ergebnisse dazu dienen, den Lernprozess natürlicher Personen in Einrichtungen oder Programmen aller Ebenen der allgemeinen und beruflichen Bildung zu steuern; c) zum Zweck der Bewertung des angemessenen Bildungsniveaus, das eine Person im Rahmen von oder innerhalb von solchen Einrichtungen erhalten wird oder zu dem sie Zugang erhalten wird; d) zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen im Rahmen von oder innerhalb von solchen Einrichtungen. Nach Artikel 6 Absatz 2 gelten die in Anhang III aufgeführten KI-Systeme als hochriskant. Ein Anbieter, der ein solches System nach Artikel 6 Absatz 3 nicht für hochriskant hält, muss seine Bewertung dokumentieren, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und es nach Artikel 49 Absatz 2 registrieren. Die Ausnahme gilt nie, wenn das System Profiling natürlicher Personen durchführt. Profiling ist Profiling im Sinne von Artikel 4 Nummer 4 der Verordnung (EU) 2016/679 (Artikel 3 Nummer 52).

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3); das kann ein Anbieter von Bildungstechnologie sein oder eine Hochschule, die ein System für den eigenen Gebrauch entwickelt. Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein System in eigener Verantwortung verwendet, etwa eine Schule, eine Hochschule oder eine Prüfungsstelle, ist Betreiber (Artikel 3 Nummer 4). Ein Betreiber wird zum Anbieter, wenn er ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke versieht, eine wesentliche Veränderung vornimmt, durch die das System ein Hochrisiko-KI-System bleibt, oder die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so ändert, dass es hochriskant wird (Artikel 25 Absatz 1). Natürliche Personen, die ein System im Rahmen einer rein persönlichen und nicht beruflichen Tätigkeit verwenden, sind als Betreiber nicht gebunden (Artikel 2 Absatz 10). Das Versehen mit dem eigenen Namen oder der eigenen Handelsmarke gilt unbeschadet vertraglicher Vereinbarungen, die die Pflichten anders zuweisen (Artikel 25 Absatz 1 Buchstabe a); der ursprüngliche Anbieter gilt dann nicht mehr als Anbieter dieses Systems und muss eng mit dem neuen Anbieter zusammenarbeiten (Artikel 25 Absatz 2). Die Pflicht zur Zusammenarbeit gilt nicht, wenn der ursprüngliche Anbieter klar festgelegt hat, dass sein KI-System nicht in ein Hochrisiko-KI-System umgewandelt werden soll und er daher nicht der Pflicht zur Zusammenarbeit unterliegt (Artikel 25 Absatz 2, letzter Unterabsatz).

• Termine

  Anhang III Nummer 3 gilt ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c). Ein System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es ab diesem Termin erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. Im selben Absatz sagt der Satz „auf jeden Fall“, dass Anbieter und Betreiber von Hochrisiko-KI-Systemen, die von Behörden genutzt werden sollen, bis zum 2. August 2030 die erforderlichen Maßnahmen treffen müssen (Artikel 111 Absatz 2). Ob dies auch Systeme erfasst, die nach dem 2. Dezember 2027 in Verkehr gebracht werden, sagt die Verordnung nicht; fragen Sie Rechtsberatung.

• Geldbußen

  Verstöße gegen die Anbieterpflichten nach Artikel 16 und die Betreiberpflichten nach Artikel 26 können mit Geldbußen von bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-up-Unternehmen, ist jede Geldbuße auf den niedrigeren Betrag begrenzt (Artikel 99 Absatz 6). Dieselbe Obergrenze gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat legt Vorschriften dafür fest, inwieweit gegen Behörden und öffentliche Stellen, die in diesem Mitgliedstaat niedergelassen sind, Geldbußen verhängt werden können (Artikel 99 Absatz 8). Die Artikel 27, 49 und 86 sind in Artikel 99 Absätze 3 bis 5 nicht aufgeführt; die Mitgliedstaaten legen die Vorschriften für Sanktionen fest, die bei Verstößen von Akteuren gegen die Verordnung gelten (Artikel 99 Absatz 1).

• Grenzen des Anwendungsbereichs der Verordnung

  Die Verordnung gilt für Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in der Union in Verkehr bringen, unabhängig davon, wo sie niedergelassen sind (Artikel 2 Absatz 1 Buchstabe a), sowie für Anbieter und Betreiber in einem Drittland, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Buchstabe c). Sie gilt nicht für Bereiche außerhalb des Unionsrechts und berührt nicht die Zuständigkeiten der Mitgliedstaaten für die nationale Sicherheit; sie gilt auch nicht für KI-Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden (Artikel 2 Absatz 3). Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen wurden (Artikel 2 Absatz 6). Sie gilt auch nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System oder Modell in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen sind von dieser Ausnahme nicht erfasst (Artikel 2 Absatz 8). Sie gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). Sie gilt nicht für KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als KI-Systeme, die unter Artikel 5 oder 50 fallen, in Verkehr gebracht oder in Betrieb genommen (Artikel 2 Absatz 12).

• Ist eine Schule oder Hochschule eine öffentliche Stelle?

  Die Verordnung definiert weder „Behörde“ noch „Einrichtung des öffentlichen Rechts“. Zum Beispiel hängen diese Regeln von diesem Status ab: die Registrierung des Systems und seiner Verwendung in der EU-Datenbank durch Betreiber, die Behörden oder Organe, Einrichtungen oder sonstige Stellen der Union sind, oder durch Personen, die in deren Namen handeln (Artikel 26 Absatz 8, Artikel 49 Absatz 3); die Grundrechte-Folgenabschätzung (Artikel 27 Absatz 1); und der Satz „auf jeden Fall“ in Artikel 111 Absatz 2 zu Systemen, die für Behörden bestimmt sind (2. August 2030). Ob eine bestimmte Schule, Hochschule oder Prüfungsstelle diesen Status hat, beantwortet die Verordnung nicht.

• Grundrechte-Folgenabschätzung (Artikel 27)

  Artikel 27 Absatz 1: Vor der Inbetriebnahme eines Hochrisiko-KI-Systems gemäß Artikel 6 Absatz 2, mit Ausnahme der in Anhang III Nummer 2 genannten Systeme, müssen Betreiber, die Einrichtungen des öffentlichen Rechts oder private Einrichtungen sind, die öffentliche Dienste erbringen, die Auswirkungen der Verwendung des Systems auf die Grundrechte abschätzen. Anhang III Nummer 3 ist kein ausgenommener Bereich; ausgenommen ist nur Nummer 2. Die Pflicht gilt für die erste Verwendung; in ähnlichen Fällen kann der Betreiber auf frühere Abschätzungen zurückgreifen (Artikel 27 Absatz 2). Der Betreiber meldet der Marktüberwachungsbehörde die Ergebnisse (Artikel 27 Absatz 3) und kann auf eine Datenschutz-Folgenabschätzung verweisen (Artikel 27 Absatz 4).

• Erläuterung von Entscheidungen (Artikel 86) und Information (Artikel 26 Absatz 11)

  Nach Artikel 26 Absatz 11 müssen Betreiber von Hochrisiko-KI-Systemen nach Anhang III, die Entscheidungen in Bezug auf natürliche Personen treffen oder dabei unterstützen, diese Personen darüber informieren, dass sie der Verwendung des Systems unterliegen. Davon getrennt haben Personen, die von einer Entscheidung betroffen sind, die der Betreiber auf der Grundlage der Ausgabe eines Hochrisiko-KI-Systems nach Anhang III (außer Nummer 2) getroffen hat und die rechtliche Auswirkungen hat oder sie in ähnlicher Art erheblich auf eine Weise beeinträchtigt, die ihrer Ansicht nach ihre Gesundheit, Sicherheit oder Grundrechte beeinträchtigt, das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten (Artikel 86 Absatz 1). Das gilt nur, soweit dieses Recht nicht anderweitig im Unionsrecht vorgesehen ist (Artikel 86 Absatz 3). Absatz 1 gilt nicht, wenn sich Ausnahmen oder Beschränkungen aus dem Unionsrecht oder dem nationalen Recht in Einklang mit dem Unionsrecht ergeben (Artikel 86 Absatz 2).

• KI-Kompetenz (Artikel 4)

  Anbieter und Betreiber von KI-Systemen müssen Maßnahmen ergreifen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Aus- und Fortbildung und der Kontext der Nutzung zu berücksichtigen sind (Artikel 4 Absatz 1). Das gilt für KI-Systeme allgemein, nicht nur für Hochrisiko-Systeme. Kapitel I, das Artikel 4 enthält, gilt ab dem 2. Februar 2025 (Artikel 113 Buchstabe a). Anbieter oder Betreiber müssen für keine Person ein bestimmtes Niveau an KI-Kompetenz garantieren. Kompetenz, Schulung und Befugnis der mit der menschlichen Aufsicht betrauten Personen verlangt gesondert Artikel 26 Absatz 2.

• Keine Zahlen zu Personal oder Schulung

  Artikel 26 legt keine Personalausstattung, Schulungsstunden oder Qualifikation für die Personen fest, die ein System zur Zulassung, Bewertung oder Prüfungsüberwachung beaufsichtigen. Verlangt werden die erforderliche Kompetenz, Schulung, Befugnis und Unterstützung. Die Kommission arbeitet Leitlinien zur Anwendung der Anforderungen und Pflichten der Artikel 8 bis 15 sowie 25 und 26 aus (Artikel 96 Absatz 1 Buchstabe a).

• Aufbewahrung der Protokolle

  Artikel 26 Absatz 6 verlangt mindestens sechs Monate für Protokolle unter der Kontrolle des Betreibers und weicht anderem Unionsrecht oder nationalem Recht, insbesondere zum Schutz personenbezogener Daten. Die Verordnung nennt keine Aufbewahrungsfrist für den Bildungsbereich.

• Gestaltungsentscheidung: Aufsichtsrollen

  Eine übliche Gestaltungsentscheidung, keine Vorgabe der Verordnung: die Aufsichtspersonen in den Zulassungs-, Bewertungs- oder Prüfungsverfahren nach Rolle benennen und ihre Schulung festhalten.

• Menschliche Prüfung jeder Note und jeder Zulassungsentscheidung

  Artikel 14 Absatz 4 und Artikel 26 Absatz 2 betreffen die menschliche Aufsicht über das System. Keine der beiden Vorschriften besagt, dass eine Person jede einzelne Entscheidung prüfen muss. Ob anderes Recht, etwa zu automatisierten Einzelentscheidungen, dies verlangt, beantwortet die Verordnung nicht.

• Artikel 26: Betreiberpflichten für Hochrisiko-KI

  Artikel 26 für alle Sektoren: wer Betreiber ist, die Pflichten, Artikel 27 und Geldbußen.

• KI-Verordnung EdTech: Compliance für Bildung

  Der Überblick zum Bildungsbereich: wie die Verordnung KI in Schulen, Hochschulen und Ausbildung erreicht.

• Artikel 17 für KI im Bildungsbereich: Qualitätsmanagementsystem

  KI im Bildungsbereich und Artikel 17: die 13 Aspekte und wer Anbieter ist.

• Artikel 27: Grundrechte-Folgenabschätzung (FRIA)

  Artikel 27 für alle Branchen: wer die Auswirkungen auf die Grundrechte abschätzen muss und was die Abschätzung umfasst.