Artikel 14 für Bildungs-KI: Menschliche Aufsicht

Artikel 14 legt Pflichten für den Anbieter fest. Er sagt nicht, wer die endgültige Entscheidung über eine Note oder eine Zulassung trifft.

• Art. 14(1)
  Wirksame Aufsicht durch natürliche Personen

  Hochrisiko-KI-Systeme müssen — auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle — so konzipiert und entwickelt werden, dass natürliche Personen sie während der Dauer ihrer Verwendung wirksam beaufsichtigen können.

• Art. 14(2)
  Ziel: Risiken verhindern oder minimieren

  Die menschliche Aufsicht dient der Verhinderung oder Minimierung der Risiken für Gesundheit, Sicherheit oder Grundrechte, die entstehen können, wenn das System im Einklang mit seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird, insbesondere wenn solche Risiken trotz der Einhaltung der anderen Anforderungen von Abschnitt 2 fortbestehen.

• Art. 14(3)
  Maßnahmen, die Risiken, Autonomie und Kontext angemessen sind

  Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung des Systems angemessen sein. Sie werden durch eine oder beide von zwei Arten von Vorkehrungen gewährleistet: a) Vorkehrungen, die der Anbieter vor dem Inverkehrbringen oder der Inbetriebnahme bestimmt und, sofern technisch machbar, in das System einbaut; b) Vorkehrungen, die der Anbieter vor dem Inverkehrbringen oder der Inbetriebnahme bestimmt und die dazu geeignet sind, vom Betreiber umgesetzt zu werden.

• Art. 14(4)(a)–(c)
  Was die mit der Aufsicht betrauten Personen tun können müssen (1)

  Das System muss dem Betreiber so zur Verfügung gestellt werden, dass die natürlichen Personen, denen die Aufsicht übertragen wurde, angemessen und verhältnismäßig in der Lage sind, a) die einschlägigen Fähigkeiten und Grenzen des Systems angemessen zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, einschließlich in Bezug auf das Erkennen und Beheben von Anomalien, Fehlfunktionen und unerwarteter Leistung; b) sich einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in die Ausgabe („Automatisierungsbias“) bewusst zu bleiben, insbesondere bei Systemen, die Informationen oder Empfehlungen für Entscheidungen ausgeben, die natürliche Personen treffen; c) die Ausgabe richtig zu interpretieren, wobei beispielsweise die vorhandenen Interpretationsinstrumente und -methoden zu berücksichtigen sind.

• Art. 14(4)(d), (e)
  Was die mit der Aufsicht betrauten Personen tun können müssen (2)

  Sie müssen außerdem angemessen und verhältnismäßig in der Lage sein: d) in einer bestimmten Situation zu beschließen, das System nicht zu verwenden oder seine Ausgabe außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen; e) in den Betrieb des Systems einzugreifen oder ihn mit einer „Stopptaste“ oder einem ähnlichen Verfahren zu unterbrechen, was dem System ermöglicht, in einem sicheren Zustand zum Stillstand zu kommen.

Artikel 14 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Zeilen zeigen, wo Bildungs-KI hochriskant wird und wer was tut.

• Die Verordnung enthält keine sektorweite Regelung für die Bildung

  Die Verordnung enthält keine sektorweite Regelung für die Bildung. Anhang III Nummer 3 ist der Hochrisiko-Bereich mit der Überschrift „Allgemeine und berufliche Bildung“. Diese Website verwendet das Wort Bildung für KI, die über diese Nummer unter die Verordnung fällt. Nummer 3 nennt vier Verwendungen. a) KI-Systeme, die bestimmungsgemäß zur Feststellung des Zugangs oder der Zulassung oder zur Zuweisung natürlicher Personen zu Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung verwendet werden sollen. b) KI-Systeme, die bestimmungsgemäß für die Bewertung von Lernergebnissen verwendet werden sollen, einschließlich des Falles, dass diese Ergebnisse dazu dienen, den Lernprozess natürlicher Personen zu steuern. c) KI-Systeme, die bestimmungsgemäß zum Zweck der Bewertung des angemessenen Bildungsniveaus, das eine Person erhalten wird oder zu dem sie Zugang erhalten wird, verwendet werden sollen. d) KI-Systeme, die bestimmungsgemäß zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen verwendet werden sollen. Jede Verwendung ist an Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung geknüpft. Nummer 3 nennt weder Plagiats- oder KI-Text-Erkennung noch Abbruchvorhersage, Lern-Dashboards, Verwaltungs-Chatbots oder adaptives Lernen als solche. Ein System für eine dieser Verwendungen ist nur dann hochriskant, wenn seine Zweckbestimmung zu einer der vier Verwendungen passt oder wenn ein anderer Punkt von Anhang III oder Anhang I es erfasst.

• Die Ableitung von Emotionen in Bildungseinrichtungen: verboten, mit einer Ausnahme aus medizinischen Gründen oder Sicherheitsgründen

  Artikel 5 Absatz 1 Buchstabe f verbietet das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder Sicherheitsgründen eingeführt oder auf den Markt gebracht werden. Das Verbot gilt ab dem 2. Februar 2025 (Artikel 113 Buchstabe a). Es ist ein Verbot, keine Hochrisiko-Verwendung: Die Ausnahme begründet keine Pflicht und ist kein Anknüpfungspunkt in Anhang III. Ein Verstoß wird mit einer Geldbuße von bis zu 35 Mio. EUR oder, bei Unternehmen, von bis zu 7 % des gesamten weltweiten Jahresumsatzes geahndet, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6).

• Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

  Ein System nach Nummer 3 ist nach Artikel 6 Absatz 2 hochriskant. Abweichend davon gilt ein System nach Anhang III gemäß Artikel 6 Absatz 3 nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Das gilt, wenn eine von vier Bedingungen erfüllt ist: a) das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen; b) es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern; c) es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder d) es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. Ein System nach Anhang III gilt immer als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt (Artikel 3 Nummer 52, Artikel 4 Nummer 4 DSGVO). Ein Anbieter, der der Auffassung ist, dass sein System nach Anhang III nicht hochriskant ist, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und registriert es (Artikel 6 Absatz 4, Artikel 49 Absatz 2). Ob ein bestimmtes Bildungssystem ein Profiling vornimmt, ist eine Frage für Ihre Rechtsberatung.

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Eine Schule, Hochschule oder Prüfungsstelle, die ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Eine Hochschule, die ein System entwickelt und unter eigenem Namen für den Eigengebrauch in Betrieb nimmt, ist daher Anbieter. Ein Betreiber wird in drei Fällen zum Anbieter eines Hochrisiko-KI-Systems: Er versieht ein bereits in Verkehr gebrachtes System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen; er nimmt eine wesentliche Veränderung vor, durch die das System ein Hochrisiko-KI-System bleibt; oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1).

• Betreiber: Aufsicht übertragen und überwachen

  Betreiber übertragen die menschliche Aufsicht natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, und lassen ihnen die erforderliche Unterstützung zukommen (Artikel 26 Absatz 2). Diese Pflichten lassen sonstige Pflichten der Betreiber nach Unionsrecht oder nationalem Recht sowie die Freiheit der Betreiber unberührt, ihre eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht zu organisieren (Artikel 26 Absatz 3). Betreiber überwachen den Betrieb des Systems anhand der Betriebsanleitung (Artikel 26 Absatz 5). Anbieter und Betreiber ergreifen außerdem Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind (Artikel 4). Artikel 14 Absatz 5, die getrennte Überprüfung einer Identifizierung durch mindestens zwei natürliche Personen, gilt nur für Systeme nach Nummer 1 Buchstabe a von Anhang III.

• Termine

  Kapitel III Abschnitte 1 bis 3, zu denen die Artikel 9 bis 15, 17, 26 und 27 gehören, gelten für KI-Systeme, die gemäß Artikel 6 Absatz 2 und Anhang III als hochriskant eingestuft sind, ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es ab diesem Termin erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen die Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Erfüllung der in der Verordnung festgelegten Anforderungen und Pflichten bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verordnung sagt nicht, ob das auch für Systeme gilt, die nach dem 2. Dezember 2027 in Verkehr gebracht oder in Betrieb genommen werden; das ist eine Frage für die Rechtsberatung.

• Geldbußen

  Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Ein Verstoß gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 kann mit einer Geldbuße von bis zu 15 Mio. EUR oder, wenn der Verantwortliche ein Unternehmen ist, von bis zu 3 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Systeme und Verwendungen außerhalb der Verordnung

  Die Verordnung gilt für Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind, sowie für Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstaben a und c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt keinesfalls die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, und auch nicht für KI-Systeme, die nicht in der Union in Verkehr gebracht oder in Betrieb genommen werden, wenn die Ausgaben in der Union ausschließlich für solche Zwecke verwendet werden, jeweils unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). Sie gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung, es sei denn, sie werden als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen oder fallen unter Artikel 5 oder 50 (Artikel 2 Absatz 12).

• Keine Regel zur endgültigen Entscheidung über Noten oder Zulassungen

  Artikel 14 sagt nicht, dass eine Lehrkraft oder eine für die Zulassung zuständige Person die endgültige Entscheidung treffen muss, und er verbietet die automatisierte Bewertung als solche nicht. Er verlangt, dass natürliche Personen das System beaufsichtigen und beschließen können, es nicht zu verwenden oder seine Ausgabe außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen. Anderes Unionsrecht oder nationales Recht kann Regeln für Betreiber hinzufügen (Artikel 26 Absatz 3). Die Verordnung selbst nennt keine Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1).

• Beispiel: Aufsicht bei einem Zulassungssystem

  Beispiel, keine Vorgabe der KI-Verordnung: Der Anbieter eines Systems, das Bewerber in eine Rangfolge bringt, könnte eine Ansicht einbauen, die dem Personal die Faktoren hinter einer Rangfolge zeigt, sowie eine Möglichkeit, eine Rangfolge beiseitezulegen. Das würde die Fähigkeiten nach Artikel 14 Absatz 4 Buchstaben c und d unterstützen.

• Beispiel: Aufsicht bei einem System zur Prüfungsüberwachung

  Beispiel, keine Vorgabe der KI-Verordnung: Der Anbieter eines Systems, das verbotenes Verhalten bei Prüfungen erkennt, könnte einen Alarm als Anlass für eine Prüfung durch eine Person darstellen, nicht als Feststellung. Das würde der Neigung begegnen, sich auf die Ausgabe zu verlassen (Artikel 14 Absatz 4 Buchstabe b).

• Artikel 14 KI-Verordnung: menschliche Aufsicht & Stopptaste

  Artikel 14 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung EdTech: Compliance für Bildung

  Die Übersicht zur Bildung: Wie die Verordnung KI für Zulassung, Benotung, Bewertung des Bildungsniveaus und Prüfungsüberwachung erfasst.

• Artikel 9 für Bildungs-KI: Risikomanagementsystem

  Bildungs-KI und Artikel 9: das Risikomanagementsystem, einschließlich Personen unter 18 Jahren.

• Artikel 26: Betreiberpflichten für Hochrisiko-KI

  Was Betreiber von Hochrisiko-KI-Systemen tun müssen, einschließlich der Übertragung der menschlichen Aufsicht.