Artikel 13 für Fintech-KI: Transparenz und Betriebsanleitung

Artikel 13 legt Pflichten des Anbieters gegenüber dem Betreiber fest. Er enthält keine Pflicht, einem Antragsteller oder Kunden eine Entscheidung zu erläutern.

• Art. 13(1)
  Transparenz, mit der Betreiber die Ausgaben interpretieren können

  Hochrisiko-KI-Systeme müssen so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist, damit die Betreiber die Ausgaben eines Systems angemessen interpretieren und verwenden können. Die Transparenz muss auf eine geeignete Art und in einem angemessenen Maß gewährleistet werden, damit Anbieter und Betreiber ihre Pflichten nach Abschnitt 3 erfüllen können.

• Art. 13(2)
  Betriebsanleitung

  Hochrisiko-KI-Systeme müssen mit Betriebsanleitungen in einem geeigneten digitalen Format oder auf andere Weise versehen werden. Die Betriebsanleitungen müssen präzise, vollständige, korrekte und eindeutige Informationen enthalten, die für die Betreiber relevant, barrierefrei zugänglich und verständlich sind.

• Art. 13(3)(a), (b)
  Mindestinhalt: Anbieter, Leistung und Grenzen

  Die Betriebsanleitung enthält mindestens den Namen und die Kontaktangaben des Anbieters sowie die Merkmale, Fähigkeiten und Leistungsgrenzen des Systems. Dazu gehört seine Zweckbestimmung. Dazu gehört das Maß an Genauigkeit — einschließlich diesbezüglicher Metriken —, Robustheit und Cybersicherheit, für das das System getestet und validiert wurde und das zu erwarten ist. Dazu gehören auch bekannte Umstände, die sich darauf auswirken können. Dazu gehören bekannte oder vorhersehbare Umstände, die zu Risiken für Gesundheit, Sicherheit oder Grundrechte führen können. Gegebenenfalls gehören außerdem dazu die technischen Fähigkeiten zur Erläuterung der Ausgabe und die Leistung in Bezug auf bestimmte Personen oder Personengruppen. Ebenso gegebenenfalls Spezifikationen für die Eingabedaten und Informationen, die es den Betreibern ermöglichen, die Ausgabe zu interpretieren.

• Art. 13(3)(c)–(f)
  Änderungen, Aufsicht, Ressourcen und Protokolle

  Die Betriebsanleitung muss außerdem die vom Anbieter zum Zeitpunkt der ersten Konformitätsbewertung vorab bestimmten Änderungen, falls es solche gibt, sowie die Maßnahmen zur menschlichen Aufsicht nach Artikel 14 angeben. Sie muss die erforderlichen Rechen- und Hardware-Ressourcen, die erwartete Lebensdauer und die Wartungsmaßnahmen angeben, auch in Bezug auf Software-Updates. Gegebenenfalls beschreibt sie die Mechanismen, die es den Betreibern ermöglichen, die Protokolle im Einklang mit Artikel 12 zu erfassen, zu speichern und auszuwerten.

Artikel 13 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Zeilen zeigen, wo Fintech-KI hochriskant wird.

• Fintech ist in der Verordnung keine Kategorie

  Die Verordnung kennt keine Fintech-Kategorie. Diese Website verwendet das Wort für KI, die über zwei Verwendungen in Anhang III Nummer 5 unter die Verordnung fällt. Nummer 5 Buchstabe b erfasst KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwendet werden sollen. Ausgenommen sind KI-Systeme, die zur Aufdeckung von Finanzbetrug verwendet werden. Nummer 5 Buchstabe c erfasst KI-Systeme, die bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen. Nummer 5 nennt weder die Betrugsaufdeckung noch Geldwäsche- oder Know-your-Customer-Prüfungen, weder den algorithmischen Handel noch Robo-Advice, weder Nichtlebensversicherungen noch die Schadenbearbeitung noch Kreditentscheidungen über juristische Personen. Ein System für eine dieser Verwendungen ist nur dann hochriskant, wenn ein anderer Punkt von Anhang III oder Anhang I es erfasst.

• Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

  Ein System nach Nummer 5 Buchstabe b oder Nummer 5 Buchstabe c ist nach Artikel 6 Absatz 2 hochriskant. Nach Artikel 6 Absatz 3 gilt es nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte birgt. Dazu gehört, dass es das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst. Die Verordnung wendet diese Ausnahme an, wenn eine der folgenden Bedingungen erfüllt ist (Artikel 6 Absatz 3 Buchstaben a bis d). Das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen. Oder es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern. Oder es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen. Oder es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist. Wie sich diese Bedingungen mit dem Test auf ein erhebliches Risiko verbinden, ist eine Frage für Ihre Rechtsberatung. Nimmt das System ein Profiling natürlicher Personen vor, gilt es immer als hochriskant. Profiling ist in Artikel 4 Nummer 4 DSGVO definiert (Artikel 3 Nummer 52). Ob ein bestimmtes Scoring- oder Preisbildungssystem ein Profiling vornimmt, ist ebenfalls eine Frage für Ihre Rechtsberatung. Ein Anbieter, der sich auf die Ausnahme beruft, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Er muss das System außerdem registrieren (Artikel 6 Absatz 4, Artikel 49 Absatz 2).

• Anbieter und Betreiber

  Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Wer als Bank oder Versicherer ein System entwickelt und unter eigenem Namen in Betrieb nimmt, ist daher Anbieter. Wer als Bank oder Versicherer ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Ein Betreiber wird in drei Fällen zum Anbieter. Er versieht ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen. Er nimmt an einem solchen System eine wesentliche Veränderung vor, durch die es ein Hochrisiko-KI-System bleibt. Oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1). Der Anbieter, der das System ursprünglich in Verkehr gebracht oder in Betrieb genommen hatte, gilt dann nicht mehr als Anbieter dieses spezifischen Systems und muss eng mit dem neuen Anbieter zusammenarbeiten (Artikel 25 Absatz 2). Das gilt nicht, wenn der Erstanbieter eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.

• Die Erläuterung einer Entscheidung gegenüber einem Antragsteller fällt nicht unter Artikel 13

  Artikel 86 Absatz 1 gibt ein Recht auf Erläuterung. Es gilt, wenn ein Betreiber eine Entscheidung auf der Grundlage der Ausgabe eines Hochrisiko-KI-Systems nach Anhang III getroffen hat, mit Ausnahme von Nummer 2. Die Entscheidung muss rechtliche Auswirkungen haben oder die Person in ähnlicher Art erheblich auf eine Weise beeinträchtigen, die ihrer Ansicht nach ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte beeinträchtigt. Die Person hat dann das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten. Das Recht gilt nicht für die Verwendung von KI-Systemen, bei denen sich Ausnahmen von oder Beschränkungen der Pflicht aus dem Unionsrecht oder dem nationalen Recht im Einklang mit dem Unionsrecht ergeben (Artikel 86 Absatz 2). Das Recht gilt nur insoweit, als es nicht anderweitig im Unionsrecht festgelegt ist (Artikel 86 Absatz 3). Betreiber von Systemen nach Anhang III, die Entscheidungen in Bezug auf natürliche Personen treffen oder dabei Unterstützung leisten, müssen diese Personen außerdem darüber informieren, dass sie der Verwendung des Systems unterliegen (Artikel 26 Absatz 11).

• Termine

  Die Anforderungen für diese Verwendungen nach Anhang III gelten ab dem 2. Dezember 2027 (Artikel 113 Absatz 3 Buchstabe c Ziffer i). Ein System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).

• Geldbußen

  Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Verstöße gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 können mit Geldbußen geahndet werden. Die Geldbuße beträgt bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen, die in dem betreffenden Mitgliedstaat niedergelassen sind, Geldbußen verhängt werden können (Artikel 99 Absatz 8).

• Reichweite und Grenzen der Verordnung

  Die Verordnung gilt für Anbieter und Betreiber, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstabe c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt nicht die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt auch nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird. Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung. Dieser Ausschluss gilt nicht, wenn sie als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden oder wenn sie unter Artikel 5 oder 50 fallen (Artikel 2 Absatz 12).

• Kein Fintech-Format für Informationen

  Die Verordnung nennt für Kreditvergabe oder Versicherung kein Format, keine Vorlage und keine Formulierung für Betriebsanleitungen. Der Anbieter entscheidet, wie er die nach Artikel 13 Absatz 3 erforderlichen Angaben darstellt. Die Verordnung selbst nennt keine harmonisierte Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien für die praktische Umsetzung der Anforderungen und Pflichten nach den Artikeln 8 bis 15, 25 und 26 (Artikel 96 Absatz 1 Buchstabe a).

• Beispiel: Inhalte für ein Bonitätsbewertungssystem

  Beispiel, keine Anforderung der Verordnung: Die Betriebsanleitung eines Bonitätsbewertungssystems könnte die Daten nennen, die das Modell braucht, und die Population, an der seine Genauigkeit gemessen wurde. Sie könnte auch die Fälle nennen, in denen seine Ausgabe nicht allein verwendet werden sollte.

• Beispiel: Eingabedaten, die der Betreiber kontrolliert

  Beispiel, keine Anforderung der Verordnung: Die Betriebsanleitung könnte die bankseitigen Eingaben auflisten, von denen das Modell abhängt, damit ein Betreiber, der die Eingabedaten kontrolliert, Artikel 26 Absatz 4 erfüllen kann.

• Artikel 13 KI-Verordnung: Transparenz und Betriebsanleitung

  Artikel 13 für alle Sektoren: Anforderungen, Termine und Geldbußen.

• KI-Verordnung Fintech Compliance: Leitfaden

  Die Fintech-Übersicht: Wie die Verordnung KI für Bonitätsbewertung und Versicherungen erfasst.

• Artikel 14 für Fintech-KI: Menschliche Aufsicht

  Fintech-KI und Artikel 14: Aufsicht durch natürliche Personen und was die Verordnung nicht verlangt.

• Anhang III im Detail: Alle 8 Hochrisiko-Kategorien

  Die Kategorien von Anhang III, einschließlich Nummer 5 zu Bonitätsbewertung sowie Lebens- und Krankenversicherungen.