Artikel 13 für Bildungs-KI: Transparenz und Information der Betreiber

Artikel 13 legt Pflichten für den Anbieter fest. Adressat ist der Betreiber, etwa eine Schule, eine Hochschule oder eine Prüfungsstelle.

• Art. 13(1)
  Hinreichend transparent, um die Ausgabe zu interpretieren

  Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist, damit die Betreiber die Ausgaben eines Systems angemessen interpretieren und verwenden können. Die Transparenz muss auf eine geeignete Art und in einem angemessenen Maß gewährleistet werden, damit Anbieter und Betreiber ihre einschlägigen Pflichten nach Abschnitt 3 erfüllen können.

• Art. 13(2)
  Betriebsanleitung

  Hochrisiko-KI-Systeme müssen mit Betriebsanleitungen in einem geeigneten digitalen Format oder auf andere Weise versehen werden. Die Betriebsanleitungen müssen präzise, vollständige, korrekte und eindeutige Informationen enthalten, die für die Betreiber relevant, barrierefrei zugänglich und verständlich sind.

• Art. 13(3)(a)–(c)
  Identität, Leistung und Risiken

  Die Betriebsanleitung enthält mindestens: a) den Namen und die Kontaktangaben des Anbieters sowie gegebenenfalls seines Bevollmächtigten; b) die Merkmale, Fähigkeiten und Leistungsgrenzen des Systems, einschließlich i) seiner Zweckbestimmung, ii) des Maßes an Genauigkeit — einschließlich diesbezüglicher Metriken —, Robustheit und Cybersicherheit gemäß Artikel 15, für das das System getestet und validiert wurde und das zu erwarten ist, sowie aller bekannten und vorhersehbaren Umstände, die sich auf dieses Maß auswirken können, und iii) aller bekannten oder vorhersehbaren Umstände der Verwendung, die zu den in Artikel 9 Absatz 2 genannten Risiken für Gesundheit und Sicherheit oder die Grundrechte führen können; c) die etwaigen Änderungen des Systems und seiner Leistung, die der Anbieter zum Zeitpunkt der ersten Konformitätsbewertung vorab bestimmt hat.

• Art. 13(3)(b)(iv)–(vii)
  Angaben, die vom System abhängen

  Ebenfalls Teil von Buchstabe b, mit den Bedingungen der Verordnung selbst: iv) gegebenenfalls die technischen Fähigkeiten und Merkmale des Systems, Informationen bereitzustellen, die zur Erläuterung seiner Ausgabe relevant sind; v) gegebenenfalls seine Leistung in Bezug auf bestimmte Personen oder Personengruppen, auf die das System bestimmungsgemäß angewandt werden soll; vi) gegebenenfalls Spezifikationen für die Eingabedaten oder sonstige relevante Informationen über die verwendeten Trainings-, Validierungs- und Testdatensätze unter Berücksichtigung der Zweckbestimmung; vii) gegebenenfalls Informationen, die es den Betreibern ermöglichen, die Ausgabe zu interpretieren und angemessen zu nutzen.

• Art. 13(3)(d)–(f)
  Aufsicht, Ressourcen und Protokolle

  Die Betriebsanleitung enthält außerdem: d) die Maßnahmen zur menschlichen Aufsicht nach Artikel 14, einschließlich der technischen Maßnahmen, die getroffen wurden, um den Betreibern die Interpretation der Ausgaben zu erleichtern; e) die erforderlichen Rechen- und Hardware-Ressourcen, die erwartete Lebensdauer des Systems und alle erforderlichen Wartungs- und Pflegemaßnahmen einschließlich deren Häufigkeit, auch in Bezug auf Software-Updates; f) gegebenenfalls eine Beschreibung der im System enthaltenen Mechanismen, die es den Betreibern ermöglichen, die Protokolle im Einklang mit Artikel 12 ordnungsgemäß zu erfassen, zu speichern und auszuwerten.

Artikel 13 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Zeilen zeigen, wo Bildungs-KI hochriskant wird und wen die Information erreichen muss.

• Die Verordnung enthält keine sektorweite Regelung für die Bildung

  Die Verordnung enthält keine sektorweite Regelung für die Bildung. Anhang III Nummer 3 ist der Hochrisiko-Bereich mit der Überschrift „Allgemeine und berufliche Bildung“. Diese Website verwendet das Wort Bildung für KI, die über diese Nummer unter die Verordnung fällt. Nummer 3 nennt vier Verwendungen. a) KI-Systeme, die bestimmungsgemäß zur Feststellung des Zugangs oder der Zulassung oder zur Zuweisung natürlicher Personen zu Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung verwendet werden sollen. b) KI-Systeme, die bestimmungsgemäß für die Bewertung von Lernergebnissen verwendet werden sollen, einschließlich des Falles, dass diese Ergebnisse dazu dienen, den Lernprozess natürlicher Personen zu steuern. c) KI-Systeme, die bestimmungsgemäß zum Zweck der Bewertung des angemessenen Bildungsniveaus, das eine Person erhalten wird oder zu dem sie Zugang erhalten wird, verwendet werden sollen. d) KI-Systeme, die bestimmungsgemäß zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen verwendet werden sollen. Jede Verwendung ist an Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung geknüpft. Nummer 3 nennt weder Plagiats- oder KI-Text-Erkennung noch Abbruchvorhersage, Lern-Dashboards, Verwaltungs-Chatbots oder adaptives Lernen als solche. Ein System für eine dieser Verwendungen ist nur dann hochriskant, wenn seine Zweckbestimmung zu einer der vier Verwendungen passt oder wenn ein anderer Punkt von Anhang III oder Anhang I es erfasst.

• Die Ableitung von Emotionen in Bildungseinrichtungen: verboten, mit einer Ausnahme aus medizinischen Gründen oder Sicherheitsgründen

  Artikel 5 Absatz 1 Buchstabe f verbietet das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder Sicherheitsgründen eingeführt oder auf den Markt gebracht werden. Das Verbot gilt ab dem 2. Februar 2025 (Artikel 113 Buchstabe a). Es ist ein Verbot, keine Hochrisiko-Verwendung: Die Ausnahme begründet keine Pflicht und ist kein Anknüpfungspunkt in Anhang III. Ein Verstoß wird mit einer Geldbuße von bis zu 35 Mio. EUR oder, bei Unternehmen, von bis zu 7 % des gesamten weltweiten Jahresumsatzes geahndet, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 3). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6).

• Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

  Ein System nach Nummer 3 ist nach Artikel 6 Absatz 2 hochriskant. Abweichend davon gilt ein System nach Anhang III gemäß Artikel 6 Absatz 3 nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Das gilt, wenn eine von vier Bedingungen erfüllt ist: a) das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen; b) es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern; c) es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder d) es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. Ein System nach Anhang III gilt immer als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt (Artikel 3 Nummer 52, Artikel 4 Nummer 4 DSGVO). Ein Anbieter, der der Auffassung ist, dass sein System nach Anhang III nicht hochriskant ist, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und registriert es (Artikel 6 Absatz 4, Artikel 49 Absatz 2). Ob ein bestimmtes Bildungssystem ein Profiling vornimmt, ist eine Frage für Ihre Rechtsberatung.

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Eine Schule, Hochschule oder Prüfungsstelle, die ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Eine Hochschule, die ein System entwickelt und unter eigenem Namen für den Eigengebrauch in Betrieb nimmt, ist daher Anbieter. Ein Betreiber wird in drei Fällen zum Anbieter eines Hochrisiko-KI-Systems: Er versieht ein bereits in Verkehr gebrachtes System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen; er nimmt eine wesentliche Veränderung vor, durch die das System ein Hochrisiko-KI-System bleibt; oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1).

• Information der Lernenden: Artikel 26 Absatz 11 und Artikel 86, nicht Artikel 13

  Artikel 13 verlangt keine Mitteilung an Lernende oder Eltern. Nach Artikel 26 Absatz 11 müssen Betreiber der in Anhang III aufgeführten Hochrisiko-KI-Systeme, die natürliche Personen betreffende Entscheidungen treffen oder bei solchen Entscheidungen Unterstützung leisten, unbeschadet von Artikel 50 die natürlichen Personen darüber informieren, dass sie der Verwendung des Hochrisiko-KI-Systems unterliegen. Artikel 86 Absatz 1 gibt jeder betroffenen Person, die von einer Entscheidung betroffen ist, die der Betreiber auf der Grundlage der Ausgaben eines in Anhang III aufgeführten Systems (mit Ausnahme von Nummer 2) getroffen hat und die rechtliche Auswirkungen hat oder sie in ähnlicher Art erheblich auf eine Weise beeinträchtigt, die ihrer Ansicht nach ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte beeinträchtigt, das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten. Artikel 86 Absätze 2 und 3 regeln Ausnahmen. Artikel 85 erlaubt jeder natürlichen oder juristischen Person, die Grund zu der Annahme hat, dass gegen die Verordnung verstoßen wurde, bei der Marktüberwachungsbehörde Beschwerde einzureichen.

• Termine

  Kapitel III Abschnitte 1 bis 3, zu denen die Artikel 9 bis 15, 17, 26 und 27 gehören, gelten für KI-Systeme, die gemäß Artikel 6 Absatz 2 und Anhang III als hochriskant eingestuft sind, ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c Ziffer i). Ein Hochrisiko-KI-System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es ab diesem Termin erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen die Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Erfüllung der in der Verordnung festgelegten Anforderungen und Pflichten bis zum 2. August 2030 (Artikel 111 Absatz 2). Die Verordnung sagt nicht, ob das auch für Systeme gilt, die nach dem 2. Dezember 2027 in Verkehr gebracht oder in Betrieb genommen werden; das ist eine Frage für die Rechtsberatung.

• Geldbußen

  Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Ein Verstoß gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 kann mit einer Geldbuße von bis zu 15 Mio. EUR oder, wenn der Verantwortliche ein Unternehmen ist, von bis zu 3 % seines gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Systeme und Verwendungen außerhalb der Verordnung

  Die Verordnung gilt für Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind, sowie für Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstaben a und c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt keinesfalls die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, und auch nicht für KI-Systeme, die nicht in der Union in Verkehr gebracht oder in Betrieb genommen werden, wenn die Ausgaben in der Union ausschließlich für solche Zwecke verwendet werden, jeweils unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt (Artikel 2 Absatz 3). Sie gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). Sie gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung, es sei denn, sie werden als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen oder fallen unter Artikel 5 oder 50 (Artikel 2 Absatz 12).

• Kein bildungsspezifischer Inhalt für die Betriebsanleitung

  Artikel 13 Absatz 3 enthält für jeden Sektor dieselbe Liste. Die Verordnung sagt nicht, welche Gruppen von Lernenden die Angaben zur Leistung abdecken müssen; sie sagt „gegebenenfalls“ (Artikel 13 Absatz 3 Buchstabe b Ziffer v). Die Verordnung selbst nennt keine Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien zur Anwendung der Artikel 8 bis 15, 25 und 26 (Artikel 96 Absatz 1 Buchstabe a).

• Beispiel: Zweckbestimmung in der Betriebsanleitung

  Beispiel, keine Vorgabe der KI-Verordnung: Bei einem System, das Mitarbeitende dabei unterstützt, Bewerbungen in eine Rangfolge zu bringen, könnte die Betriebsanleitung in der Zweckbestimmung angeben, wofür die Ausgabe verwendet werden soll, damit der Betreiber sie angemessen nutzen kann (Artikel 13 Absatz 3 Buchstabe b Ziffer i).

• Beispiel: Bekannte Umstände bei der Prüfungsüberwachung

  Beispiel, keine Vorgabe der KI-Verordnung: Bei einem System, das verbotenes Verhalten bei Prüfungen erkennt, könnte die Betriebsanleitung bekannte Umstände nennen, die die Genauigkeit beeinflussen können, etwa die Bedingungen, unter denen es getestet und validiert wurde (Artikel 13 Absatz 3 Buchstabe b Ziffer ii).

• Artikel 13 KI-Verordnung: Transparenz und Betriebsanleitung

  Artikel 13 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung EdTech: Compliance für Bildung

  Die Übersicht zur Bildung: Wie die Verordnung KI für Zulassung, Benotung, Bewertung des Bildungsniveaus und Prüfungsüberwachung erfasst.

• Artikel 14 für Bildungs-KI: Menschliche Aufsicht

  Bildungs-KI und Artikel 14: menschliche Aufsicht durch Konzeption.

• Artikel 26: Betreiberpflichten für Hochrisiko-KI

  Was Betreiber von Hochrisiko-KI-Systemen tun müssen, einschließlich der Information betroffener Personen.