Artikel 15 für Fintech-KI: Genauigkeit, Robustheit und Cybersicherheit

Artikel 15 enthält Auslegungsanforderungen für den Anbieter. Er nennt für keinen Sektor einen Genauigkeitswert.

• Art. 15(1)
  Angemessenes Maß über den gesamten Lebenszyklus

  Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.

• Art. 15(2)
  Benchmarks fördert die Kommission

  Die Kommission fördert gegebenenfalls in Zusammenarbeit mit Interessenträgern wie Metrologie- und Benchmarking-Behörden die Entwicklung von Benchmarks und Messmethoden. Das ist keine Pflicht des Anbieters.

• Art. 15(3)
  Maße und Metriken angeben

  Die Maße an Genauigkeit und die relevanten Genauigkeitsmetriken müssen in den beigefügten Betriebsanleitungen angegeben werden.

• Art. 15(4)
  Widerstandsfähigkeit gegen Fehler und Rückkopplungsschleifen

  Systeme müssen so widerstandsfähig wie möglich gegenüber Fehlern, Störungen oder Unstimmigkeiten im System oder in seiner Umgebung sein, insbesondere wegen der Interaktion mit natürlichen Personen oder anderen Systemen. Es sind technische und organisatorische Maßnahmen zu ergreifen; technische Redundanz, Sicherungs- oder Störungssicherheitspläne sind als Möglichkeiten genannt. Ein System, das nach dem Inverkehrbringen weiterlernt, ist so zu entwickeln, dass das Risiko verzerrter Ausgaben, die künftige Vorgänge beeinflussen (Rückkopplungsschleifen), beseitigt oder so gering wie möglich gehalten wird.

• Art. 15(5)
  Cybersicherheit gegen unbefugte Dritte

  Systeme müssen widerstandsfähig gegen Versuche unbefugter Dritter sein, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern. Die technischen Lösungen umfassen gegebenenfalls Maßnahmen gegen Data Poisoning, Model Poisoning, Adversarial Examples oder Model Evasion, Angriffe auf vertrauliche Daten und Modellmängel.

Artikel 15 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Punkte zeigen, wann Fintech-KI hochriskant wird.

• „Fintech“ ist keine Kategorie der Verordnung

  Die Verordnung kennt keine Kategorie „Fintech“. Diese Website verwendet das Wort für KI, die über zwei Anknüpfungspunkte in Anhang III unter die Verordnung fällt: Nummer 5 Buchstabe b (Kreditwürdigkeit und Bonität natürlicher Personen) und Nummer 5 Buchstabe c (Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen). Buchstabe b nimmt die Betrugserkennung aus. Anhang III Nummer 5 nennt weder Geldwäschekontrollen noch algorithmischen Handel, Robo-Advice, andere Versicherungen als Lebens- und Krankenversicherungen oder die Kreditprüfung juristischer Personen. Ein System kann dennoch nach einer anderen Nummer von Anhang III hochriskant sein.

• Anhang III Nummer 5 Buchstaben b und c

  Anhang III Nummer 5 Buchstabe b erfasst KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden. Buchstabe c erfasst KI-Systeme, die bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen. Nach Artikel 6 Absatz 2 gelten die in Anhang III aufgeführten KI-Systeme als hochriskant. Ein Anbieter, der ein solches System nach Artikel 6 Absatz 3 nicht für hochriskant hält, muss seine Bewertung dokumentieren, bevor das System in Verkehr gebracht oder in Betrieb genommen wird, und es nach Artikel 49 Absatz 2 registrieren. Die Ausnahme gilt nie, wenn das System Profiling natürlicher Personen durchführt. Profiling ist Profiling im Sinne von Artikel 4 Nummer 4 der Verordnung (EU) 2016/679 (Artikel 3 Nummer 52); ob ein bestimmtes Scoring-System Profiling durchführt, beantwortet die Verordnung nicht.

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3); das kann ein Softwareanbieter sein oder eine Bank, die ein System für den eigenen Gebrauch entwickelt. Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein System in eigener Verantwortung verwendet, etwa eine Bank, ein Versicherer oder ein Kreditgeber, ist Betreiber (Artikel 3 Nummer 4). Ein Betreiber wird zum Anbieter, wenn er ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke versieht, eine wesentliche Veränderung vornimmt, durch die das System ein Hochrisiko-KI-System bleibt, oder die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so ändert, dass es hochriskant wird (Artikel 25 Absatz 1).

• Termine

  Anhang III Nummer 5 Buchstaben b und c gelten ab dem 2. Dezember 2027 (Artikel 113 Absatz 3 Buchstabe c). Ein System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt; in jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).

• Geldbußen

  Verstöße gegen die Anbieterpflichten nach Artikel 16 und die Betreiberpflichten nach Artikel 26 können mit Geldbußen von bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4). Für KMU, einschließlich Start-up-Unternehmen, ist jede Geldbuße auf den niedrigeren Betrag begrenzt (Artikel 99 Absatz 6). Dieselbe Obergrenze gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat legt Vorschriften dafür fest, inwieweit gegen Behörden und öffentliche Stellen, die in diesem Mitgliedstaat niedergelassen sind, Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Grenzen des Anwendungsbereichs der Verordnung

  Die Verordnung gilt für Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in der Union in Verkehr bringen, unabhängig davon, wo sie niedergelassen sind (Artikel 2 Absatz 1 Buchstabe a), sowie für Anbieter und Betreiber in einem Drittland, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Buchstabe c). Sie gilt nicht für Bereiche außerhalb des Unionsrechts und berührt nicht die Zuständigkeiten der Mitgliedstaaten für die nationale Sicherheit; sie gilt auch nicht für KI-Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet werden (Artikel 2 Absatz 3).

• Keine Genauigkeitswerte für Fintech

  Artikel 15 nennt für keinen Sektor eine Genauigkeitsmetrik, einen Mindestwert, eine Prüfmethode oder eine Norm, auch nicht für Bonitätsbewertung oder Versicherungen. Der Anbieter gibt die Genauigkeitsgrade und die relevanten Metriken an (Artikel 15 Absatz 3). Harmonisierte Normen, deren Fundstellen im Amtsblatt veröffentlicht sind, begründen eine Konformitätsvermutung, soweit sie die Anforderungen abdecken (Artikel 40 Absatz 1); eine veröffentlichte Cybersicherheitszertifizierung nach der Verordnung (EU) 2019/881 begründet sie für die Anforderungen an die Cybersicherheit, soweit sie diese abdeckt (Artikel 42 Absatz 2). Systeme, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen und die Bedingungen des Artikels 12 Absatz 1 jener Verordnung erfüllen, gelten als konform mit den Cybersicherheitsanforderungen des Artikels 15 (Artikel 42 Absatz 3). Die Kommission arbeitet Leitlinien zur Anwendung der Anforderungen und Pflichten der Artikel 8 bis 15 sowie 25 und 26 aus (Artikel 96 Absatz 1 Buchstabe a).

• Beispiel: Metriken für ein Bonitätsbewertungsmodell

  Beispiel, keine Vorgabe der Verordnung: Der Anbieter eines Bonitätsbewertungsmodells könnte angeben, welche Genauigkeitsmetriken er gemessen hat, und die Antragstellergruppe und den Zeitraum nennen, auf die sie sich beziehen.

• Beispiel: Tests auf Fehler und Angriffe

  Beispiel, keine Vorgabe der Verordnung: Ein Anbieter könnte das System mit fehlerhaften oder außerhalb des Bereichs liegenden Eingaben und mit Adversarial Examples testen und die Ergebnisse aufbewahren.

• Artikel 15 KI-Verordnung: Genauigkeit, Robustheit und Cybersicherheit

  Artikel 15 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung Fintech Compliance: Leitfaden

  Der Fintech-Überblick: wie die Verordnung KI für Kreditvergabe und Versicherung erfasst.

• Artikel 17 für Fintech-KI: Qualitätsmanagementsystem

  Fintech-KI und Artikel 17: die 13 Aspekte und die Regel für Finanzinstitute.

• Anhang III im Detail: Alle 8 Hochrisiko-Kategorien

  Die acht Bereiche des Anhangs III, darunter Bonitätsbewertung und Lebens- und Krankenversicherung.