Artikel 15 für KI im Bildungsbereich: Genauigkeit, Robustheit und Cybersicherheit

Artikel 15 enthält Auslegungsanforderungen für den Anbieter. Er nennt für keinen Sektor einen Genauigkeitswert.

• Art. 15(1)
  Angemessenes Maß über den gesamten Lebenszyklus

  Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.

• Art. 15(2)
  Benchmarks fördert die Kommission

  Die Kommission fördert gegebenenfalls in Zusammenarbeit mit Interessenträgern wie Metrologie- und Benchmarking-Behörden die Entwicklung von Benchmarks und Messmethoden. Das ist keine Pflicht des Anbieters.

• Art. 15(3)
  Maße und Metriken angeben

  Die Maße an Genauigkeit und die relevanten Genauigkeitsmetriken müssen in den beigefügten Betriebsanleitungen angegeben werden.

• Art. 15(4)
  Widerstandsfähigkeit gegen Fehler und Rückkopplungsschleifen

  Systeme müssen so widerstandsfähig wie möglich gegenüber Fehlern, Störungen oder Unstimmigkeiten im System oder in seiner Umgebung sein, insbesondere wegen der Interaktion mit natürlichen Personen oder anderen Systemen. Es sind technische und organisatorische Maßnahmen zu ergreifen; technische Redundanz, Sicherungs- oder Störungssicherheitspläne sind als Möglichkeiten genannt. Ein System, das nach dem Inverkehrbringen weiterlernt, ist so zu entwickeln, dass das Risiko verzerrter Ausgaben, die künftige Vorgänge beeinflussen (Rückkopplungsschleifen), beseitigt oder so gering wie möglich gehalten wird.

• Art. 15(5)
  Cybersicherheit gegen unbefugte Dritte

  Systeme müssen widerstandsfähig gegen Versuche unbefugter Dritter sein, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern. Die technischen Lösungen umfassen gegebenenfalls Maßnahmen gegen Data Poisoning, Model Poisoning, Adversarial Examples oder Model Evasion, Angriffe auf vertrauliche Daten und Modellmängel.

Artikel 15 gilt nur für Hochrisiko-KI-Systeme. Die Zeilen unten zeigen, wo KI im Bildungsbereich hochriskant wird.

• Wo „Bildung“ in der Verordnung steht

  Die Verordnung kennt kein sektorweites Regelwerk für Bildung. Diese Website verwendet „Bildung“ für KI in Schulen, Hochschulen, der beruflichen Bildung und bei Prüfungen. Solche KI erreicht die Verordnung über Anhang III Nummer 3 mit der Überschrift „Allgemeine und berufliche Bildung“ und über das Verbot, Emotionen in Bildungseinrichtungen abzuleiten (Artikel 5 Absatz 1 Buchstabe f). Nummer 3 nennt weder Plagiatserkennung noch Abbruchprognosen, adaptive Lernplattformen, Lern-Dashboards oder Verwaltungs-Chatbots; ob ein System darunter fällt, folgt aus der Zweckbestimmung (Artikel 3 Nummer 12). Ein System kann auch nach einer anderen Nummer von Anhang III hochriskant sein.

• Anhang III Nummer 3: vier Einsatzzwecke

  Anhang III Nummer 3 erfasst KI-Systeme, die bestimmungsgemäß verwendet werden sollen: a) zur Feststellung des Zugangs oder der Zulassung oder zur Zuweisung natürlicher Personen zu Einrichtungen aller Ebenen der allgemeinen und beruflichen Bildung; b) für die Bewertung von Lernergebnissen, einschließlich des Falles, dass diese Ergebnisse dazu dienen, den Lernprozess natürlicher Personen in Einrichtungen oder Programmen aller Ebenen der allgemeinen und beruflichen Bildung zu steuern; c) zum Zweck der Bewertung des angemessenen Bildungsniveaus, das eine Person im Rahmen von oder innerhalb von solchen Einrichtungen erhalten wird oder zu dem sie Zugang erhalten wird; d) zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen im Rahmen von oder innerhalb von solchen Einrichtungen. Nach Artikel 6 Absatz 2 gelten die in Anhang III aufgeführten KI-Systeme als hochriskant. Ein Anbieter, der ein solches System nach Artikel 6 Absatz 3 nicht für hochriskant hält, muss seine Bewertung dokumentieren, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und es nach Artikel 49 Absatz 2 registrieren. Die Ausnahme gilt nie, wenn das System Profiling natürlicher Personen durchführt. Profiling ist Profiling im Sinne von Artikel 4 Nummer 4 der Verordnung (EU) 2016/679 (Artikel 3 Nummer 52).

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3); das kann ein Anbieter von Bildungstechnologie sein oder eine Hochschule, die ein System für den eigenen Gebrauch entwickelt. Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein System in eigener Verantwortung verwendet, etwa eine Schule, eine Hochschule oder eine Prüfungsstelle, ist Betreiber (Artikel 3 Nummer 4). Ein Betreiber wird zum Anbieter, wenn er ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke versieht, eine wesentliche Veränderung vornimmt, durch die das System ein Hochrisiko-KI-System bleibt, oder die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so ändert, dass es hochriskant wird (Artikel 25 Absatz 1).

• Termine

  Anhang III Nummer 3 gilt ab dem 2. Dezember 2027 (Artikel 113 Buchstabe c). Ein System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es ab diesem Termin erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. Im selben Absatz sagt der Satz „auf jeden Fall“, dass Anbieter und Betreiber von Hochrisiko-KI-Systemen, die von Behörden genutzt werden sollen, bis zum 2. August 2030 die erforderlichen Maßnahmen treffen müssen (Artikel 111 Absatz 2). Ob dies auch Systeme erfasst, die nach dem 2. Dezember 2027 in Verkehr gebracht werden, sagt die Verordnung nicht; fragen Sie Rechtsberatung.

• Geldbußen

  Verstöße gegen die Anbieterpflichten nach Artikel 16 und die Betreiberpflichten nach Artikel 26 können mit Geldbußen von bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-up-Unternehmen, ist jede Geldbuße auf den niedrigeren Betrag begrenzt (Artikel 99 Absatz 6). Dieselbe Obergrenze gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat legt Vorschriften dafür fest, inwieweit gegen Behörden und öffentliche Stellen, die in diesem Mitgliedstaat niedergelassen sind, Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Grenzen des Anwendungsbereichs der Verordnung

  Die Verordnung gilt für Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in der Union in Verkehr bringen, unabhängig davon, wo sie niedergelassen sind (Artikel 2 Absatz 1 Buchstabe a), sowie für Anbieter und Betreiber in einem Drittland, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Buchstabe c). Sie gilt nicht für Bereiche außerhalb des Unionsrechts und berührt nicht die Zuständigkeiten der Mitgliedstaaten für die nationale Sicherheit; sie gilt auch nicht für KI-Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden (Artikel 2 Absatz 3). Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen wurden (Artikel 2 Absatz 6). Sie gilt auch nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System oder Modell in Verkehr gebracht oder in Betrieb genommen wird; Tests unter Realbedingungen sind von dieser Ausnahme nicht erfasst (Artikel 2 Absatz 8). Sie gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI-Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Artikel 2 Absatz 10). Sie gilt nicht für KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als KI-Systeme, die unter Artikel 5 oder 50 fallen, in Verkehr gebracht oder in Betrieb genommen (Artikel 2 Absatz 12).

• Keine Genauigkeitswerte für den Bildungsbereich

  Artikel 15 nennt für keinen Sektor eine Genauigkeitsmetrik, einen Mindestwert, eine Prüfmethode oder eine Norm, auch nicht für Systeme zur Zulassung, Bewertung oder Prüfungsüberwachung. Der Anbieter gibt die Genauigkeitsgrade und die relevanten Metriken an (Artikel 15 Absatz 3). Harmonisierte Normen, deren Fundstellen im Amtsblatt veröffentlicht sind, begründen eine Konformitätsvermutung, soweit sie die Anforderungen abdecken (Artikel 40 Absatz 1); eine veröffentlichte Cybersicherheitszertifizierung nach der Verordnung (EU) 2019/881 begründet sie für die Anforderungen an die Cybersicherheit, soweit sie diese abdeckt (Artikel 42 Absatz 2). Systeme, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen und die Bedingungen des Artikels 12 Absatz 1 jener Verordnung erfüllen, gelten als konform mit den Cybersicherheitsanforderungen des Artikels 15 (Artikel 42 Absatz 3). Die Kommission arbeitet Leitlinien zur Anwendung der Anforderungen und Pflichten der Artikel 8 bis 15 sowie 25 und 26 aus (Artikel 96 Absatz 1 Buchstabe a).

• Beispiel: Metriken für ein Bewertungsmodell

  Beispiel, keine Vorgabe der Verordnung: Der Anbieter eines Systems zur Bewertung von Lernergebnissen könnte angeben, welche Genauigkeitsmetriken er gemessen hat, und die Studierendengruppe und die Prüfungsart nennen, auf die sie sich beziehen.

• Beispiel: Rückkopplungsschleifen

  Beispiel, keine Vorgabe der Verordnung: Der Anbieter eines Systems, das nach dem Inverkehrbringen weiterlernt (Artikel 15 Absatz 4), könnte prüfen, ob Ausgaben, die in spätere Eingaben zurückfließen, die Ergebnisse für bestimmte Studierendengruppen verändern, und die Ergebnisse aufbewahren.

• Artikel 15 KI-Verordnung: Genauigkeit, Robustheit und Cybersicherheit

  Artikel 15 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung EdTech: Compliance für Bildung

  Der Überblick zum Bildungsbereich: wie die Verordnung KI in Schulen, Hochschulen und Ausbildung erreicht.

• Artikel 17 für KI im Bildungsbereich: Qualitätsmanagementsystem

  KI im Bildungsbereich und Artikel 17: die 13 Aspekte und wer Anbieter ist.

• Anhang III im Detail: Alle 8 Hochrisiko-Kategorien

  Die acht Bereiche von Anhang III, darunter allgemeine und berufliche Bildung.