Artikel 15 für KI im Gesundheitswesen: Genauigkeit, Robustheit und Cybersicherheit

Artikel 15 enthält Auslegungsanforderungen für den Anbieter. Er nennt für keinen Sektor einen Genauigkeitswert.

• Art. 15(1)
  Angemessenes Maß über den gesamten Lebenszyklus

  Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.

• Art. 15(2)
  Benchmarks fördert die Kommission

  Die Kommission fördert gegebenenfalls in Zusammenarbeit mit Interessenträgern wie Metrologie- und Benchmarking-Behörden die Entwicklung von Benchmarks und Messmethoden. Das ist keine Pflicht des Anbieters.

• Art. 15(3)
  Maße und Metriken angeben

  Die Maße an Genauigkeit und die relevanten Genauigkeitsmetriken müssen in den beigefügten Betriebsanleitungen angegeben werden.

• Art. 15(4)
  Widerstandsfähigkeit gegen Fehler und Rückkopplungsschleifen

  Systeme müssen so widerstandsfähig wie möglich gegenüber Fehlern, Störungen oder Unstimmigkeiten im System oder in seiner Umgebung sein, insbesondere wegen der Interaktion mit natürlichen Personen oder anderen Systemen. Es sind technische und organisatorische Maßnahmen zu ergreifen; technische Redundanz, Sicherungs- oder Störungssicherheitspläne sind als Möglichkeiten genannt. Ein System, das nach dem Inverkehrbringen weiterlernt, ist so zu entwickeln, dass das Risiko verzerrter Ausgaben, die künftige Vorgänge beeinflussen (Rückkopplungsschleifen), beseitigt oder so gering wie möglich gehalten wird.

• Art. 15(5)
  Cybersicherheit gegen unbefugte Dritte

  Systeme müssen widerstandsfähig gegen Versuche unbefugter Dritter sein, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern. Die technischen Lösungen umfassen gegebenenfalls Maßnahmen gegen Data Poisoning, Model Poisoning, Adversarial Examples oder Model Evasion, Angriffe auf vertrauliche Daten und Modellmängel.

Artikel 15 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Punkte zeigen, wann KI im Gesundheitswesen hochriskant wird.

• Gesundheitswesen ist keine Kategorie der Verordnung

  Die Verordnung kennt keine Kategorie „Gesundheitswesen“. Diese Website verwendet das Wort für KI, die über drei Anknüpfungspunkte unter die Verordnung fällt: Medizinprodukte (Anhang I Abschnitt A), Anhang III Nummer 5 Buchstaben a und d sowie Anhang III Nummer 1 Buchstabe c zur Emotionserkennung.

• Medizinprodukte: Anhang I Abschnitt A, Nummern 11 und 12

  Anhang I Abschnitt A nennt die Verordnung (EU) 2017/745 über Medizinprodukte (Nummer 11) und die Verordnung (EU) 2017/746 über In-vitro-Diagnostika (Nummer 12). Ein KI-System gilt nach Artikel 6 Absatz 1 als Hochrisiko-KI-System, wenn es Sicherheitsbauteil eines Produkts nach diesen Rechtsvorschriften oder selbst ein solches Produkt ist und das Produkt nach diesen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden muss. Welche Produkte das betrifft, bestimmen die Verordnungen über Medizinprodukte. Artikel 2 Absatz 2, der Produkte aus Anhang I Abschnitt B einschränkt, gilt für Abschnitt A nicht.

• Anhang III Nummer 1 Buchstabe c und Nummer 5 Buchstaben a und d

  Anhang III Nummer 5 Buchstabe a erfasst KI-Systeme, die von Behörden oder in deren Namen verwendet werden, um zu beurteilen, ob natürliche Personen Anspruch auf grundlegende öffentliche Unterstützungsleistungen und -dienste, einschließlich Gesundheitsdiensten, haben und ob solche Leistungen und Dienste zu gewähren, einzuschränken, zu widerrufen oder zurückzufordern sind. Buchstabe d erfasst Systeme zur Bewertung und Klassifizierung von Notrufen oder zur Entsendung oder Priorisierung des Einsatzes von Not- und Rettungsdiensten, einschließlich Polizei, Feuerwehr und medizinischer Nothilfe, sowie Systeme für die Triage von Patienten bei der Notfallversorgung. Nummer 1 Buchstabe c erfasst KI-Systeme, die bestimmungsgemäß für die Emotionserkennung verwendet werden sollen, soweit ihr Einsatz nach einschlägigem Unionsrecht oder nationalem Recht zugelassen ist. Ist ein System zugleich ein Produkt nach Abschnitt A und in Anhang III genannt, folgt der Anbieter dem Konformitätsbewertungsverfahren der Rechtsvorschriften nach Abschnitt A (Artikel 43 Absatz 3).

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Bei einem Sicherheitsbauteil eines Produkts nach Abschnitt A gilt der Produkthersteller als Anbieter, wenn das System zusammen mit dem Produkt unter seinem Namen oder seiner Handelsmarke in Verkehr gebracht wird oder unter seinem Namen in Betrieb genommen wird, nachdem das Produkt in Verkehr gebracht wurde (Artikel 25 Absatz 3). Ein Krankenhaus, eine Klinik oder ein Labor, das ein System in eigener Verantwortung verwendet, ist Betreiber. Ein Betreiber wird zum Anbieter, wenn er ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke versieht, eine wesentliche Veränderung vornimmt, durch die das System ein Hochrisiko-KI-System bleibt, oder die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so ändert, dass es hochriskant wird (Artikel 25 Absatz 1).

• Termine

  KI für Medizinprodukte nach Anhang I gilt ab dem 2. August 2028. Anhang III Nummer 1 Buchstabe c sowie Nummer 5 Buchstaben a und d gelten ab dem 2. Dezember 2027 (Artikel 113 Absatz 3 Buchstabe c). Ein System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt; in jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2). Artikel 113 sagt nicht, welcher Termin für ein System gilt, das zugleich unter Anhang I und Anhang III fällt; lassen Sie dies rechtlich klären.

• Geldbußen

  Verstöße gegen die Anbieterpflichten nach Artikel 16 und die Betreiberpflichten nach Artikel 26 können mit Geldbußen von bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-up-Unternehmen, ist jede Geldbuße auf den niedrigeren Betrag begrenzt (Artikel 99 Absatz 6). Dieselbe Obergrenze gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a).

• Delegierte Rechtsakte können einzelne Anforderungen einschränken

  Für Systeme nach Artikel 6 Absatz 1 erlaubt die Verordnung, einzelne Anforderungen der Artikel 9 bis 15 und 17 bis 25 einzuschränken, soweit die Rechtsvorschriften nach Anhang I Abschnitt A gleichwertige oder höhere Schutzanforderungen enthalten und die Einschränkung das Gesamtschutzniveau nicht senkt (Artikel 2 Absatz 13). Die Kommission erlässt bis zum 2. August 2027 delegierte Rechtsakte, die die Systeme, Anforderungen und Bedingungen festlegen. Prüfen Sie diese, bevor Sie sich auf eine Einschränkung stützen.

• Anbieter dürfen Produktdokumentation und -verfahren wiederverwenden

  Anbieter von Produkten nach Abschnitt A können die erforderlichen Test- und Berichtsprozesse, Informationen und Dokumentationen für diese Anforderungen in Dokumentation und Verfahren aufnehmen, die nach den Rechtsvorschriften nach Abschnitt A bereits bestehen (Artikel 8 Absatz 2). Die Kommission veröffentlicht dazu bis zum 1. August 2027 Leitlinien (Artikel 96 Absatz 1 Buchstabe g).

• Keine Genauigkeitswerte für das Gesundheitswesen

  Artikel 15 nennt für keinen Sektor eine Genauigkeitsmetrik, einen Mindestwert, ein Prüfverfahren oder eine Norm. Der Anbieter gibt die Maße und relevanten Metriken an (Artikel 15 Absatz 3). Normen und Zertifikate können eine Vermutung begründen: Systeme, die harmonisierten Normen entsprechen, deren Fundstellen im Amtsblatt veröffentlicht sind, gelten als konform mit den Anforderungen des Abschnitts 2, soweit die Normen diese abdecken (Artikel 40 Absatz 1); eine im Amtsblatt veröffentlichte Cybersicherheitszertifizierung oder Konformitätserklärung nach der Verordnung (EU) 2019/881 begründet die Vermutung für die Cybersicherheitsanforderungen des Artikels 15 (Artikel 42 Absatz 2); Systeme im Anwendungsbereich der Verordnung (EU) 2024/2847, die deren Artikel 12 Absatz 1 erfüllen, gelten als konform (Artikel 42 Absatz 3).

• Beispiel: Metriken für einen diagnostischen Klassifikator

  Beispiel, keine Vorgabe der Verordnung: Der Anbieter eines Bildklassifikators könnte Sensitivität und Spezifität angeben und nennen, an welcher Patientengruppe sie gemessen wurden.

• Beispiel: Tests auf Fehler und Angriffe

  Beispiel, keine Vorgabe der Verordnung: Ein Anbieter könnte das System mit fehlerhaften oder außerhalb des Bereichs liegenden Eingaben und mit Adversarial Examples testen und die Ergebnisse aufbewahren.

• Artikel 15 KI-Verordnung: Genauigkeit, Robustheit und Cybersicherheit

  Artikel 15 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung: Compliance für Gesundheits-KI

  Die Übersicht zum Gesundheitswesen: wie die Verordnung Medizinprodukte und klinische KI erfasst.

• Artikel 17 für KI im Gesundheitswesen: Qualitätsmanagementsystem

  KI im Gesundheitswesen und Artikel 17: die 13 Aspekte, sektorale Systeme, Konformitätsbewertung.

• Hochrisiko-KI-Systeme nach Anhang I: der Produktsicherheitsweg

  Wie Produkte wie Medizinprodukte nach Artikel 6 Absatz 1 zu Hochrisiko-KI-Systemen werden.