Skip to main content

Artikel 14 für Fintech-KI: Menschliche Aufsicht

Wie Artikel 14 (menschliche Aufsicht) für KI zur Kreditwürdigkeitsprüfung und für Versicherungs-KI gilt: Aufsicht durch Konzeption, die Rolle des Betreibers, was die Verordnung nicht verlangt, Termine, Geldbußen und was sie offenlässt.

Anbieter von KI-Systemen für Bonitätsbewertung und Lebens- oder Krankenversicherungen müssen diese so konzipieren, dass natürliche Personen sie wirksam beaufsichtigen können (Artikel 14).

Das sind Hochrisiko-Verwendungen nach Anhang III Nummer 5 Buchstabe b und Nummer 5 Buchstabe c; die Betrugsaufdeckung ist von Nummer 5 Buchstabe b ausgenommen. Die Pflicht gilt ab dem 2. Dezember 2027, außer wenn die Ausnahme nach Artikel 6 Absatz 3 greift. Betreiber müssen die Aufsicht kompetenten Personen übertragen (Artikel 26 Absatz 2). Geldbußen: bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des weltweiten Jahresumsatzes. Maßgeblich ist der höhere Betrag (Artikel 99 Absatz 4). Nächster Schritt: Legen Sie fest, was Ihre Aufsichtspersonen sehen, ändern und stoppen können.

Artikel 14 verlangt, dass Menschen das System wirksam beaufsichtigen können

Artikel 14 legt Konzeptionspflichten für den Anbieter fest. Er enthält keine Regel, dass eine Person jede einzelne Entscheidung prüfen muss.

  • Art. 14(1)
    Wirksame Aufsicht durch natürliche Personen

    Hochrisiko-KI-Systeme müssen — auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle — so konzipiert und entwickelt werden, dass natürliche Personen sie während der Dauer ihrer Verwendung wirksam beaufsichtigen können.

  • Art. 14(2)
    Ziel: Risiken verhindern oder minimieren

    Die Aufsicht dient der Verhinderung oder Minimierung von Risiken für Gesundheit, Sicherheit oder Grundrechte. Diese Risiken können entstehen, wenn das System im Einklang mit seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird. Das gilt insbesondere, wenn solche Risiken trotz der Einhaltung anderer Anforderungen fortbestehen.

  • Art. 14(3)
    Maßnahmen, die Risiken, Autonomie und Kontext angemessen sind

    Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung angemessen sein. Sie werden gewährleistet durch Vorkehrungen, die der Anbieter, sofern technisch machbar, in das System einbaut, durch Vorkehrungen, die der Anbieter als geeignet für die Umsetzung durch den Betreiber bestimmt, oder durch beides.

  • Art. 14(4)(a)–(c)
    Verstehen, überwachen und interpretieren

    Das System muss so zur Verfügung gestellt werden, dass die Personen, denen die Aufsicht übertragen wurde, angemessen und verhältnismäßig in der Lage sind, seine Fähigkeiten und Grenzen zu verstehen und seinen Betrieb zu überwachen. Dazu gehört, Anomalien, Fehlfunktionen und unerwartete Leistung zu erkennen und zu beheben. Sie müssen sich außerdem einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in die Ausgabe („Automatisierungsbias“) bewusst bleiben können, insbesondere bei Systemen, die Informationen oder Empfehlungen für Entscheidungen natürlicher Personen ausgeben. Und sie müssen die Ausgabe richtig interpretieren können.

  • Art. 14(4)(d), (e)
    Nicht verwenden, außer Kraft setzen, rückgängig machen oder stoppen

    Die Personen, denen die Aufsicht übertragen wurde, müssen in einer bestimmten Situation beschließen können, das System nicht zu verwenden oder seine Ausgabe außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen. Sie müssen außerdem in den Betrieb eingreifen oder ihn mit einer „Stopptaste“ oder einem ähnlichen Verfahren unterbrechen können. Dieses Verfahren muss es dem System ermöglichen, in einem sicheren Zustand zum Stillstand zu kommen.

Welche Fintech-KI Artikel 14 erfüllen muss

Artikel 14 gilt nur für Hochrisiko-KI-Systeme. Die folgenden Zeilen zeigen, wo Fintech-KI hochriskant wird.

  • Fintech ist in der Verordnung keine Kategorie

    Die Verordnung kennt keine Fintech-Kategorie. Diese Website verwendet das Wort für KI, die über zwei Verwendungen in Anhang III Nummer 5 unter die Verordnung fällt. Nummer 5 Buchstabe b erfasst KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwendet werden sollen. Ausgenommen sind KI-Systeme, die zur Aufdeckung von Finanzbetrug verwendet werden. Nummer 5 Buchstabe c erfasst KI-Systeme, die bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen. Nummer 5 nennt weder die Betrugsaufdeckung noch Geldwäsche- oder Know-your-Customer-Prüfungen, weder den algorithmischen Handel noch Robo-Advice, weder Nichtlebensversicherungen noch die Schadenbearbeitung noch Kreditentscheidungen über juristische Personen. Ein System für eine dieser Verwendungen ist nur dann hochriskant, wenn ein anderer Punkt von Anhang III oder Anhang I es erfasst.

  • Artikel 6 Absatz 3 kann ein System aus Anhang III herausnehmen

    Ein System nach Nummer 5 Buchstabe b oder Nummer 5 Buchstabe c ist nach Artikel 6 Absatz 2 hochriskant. Nach Artikel 6 Absatz 3 gilt es nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte birgt. Dazu gehört, dass es das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst. Die Verordnung wendet diese Ausnahme an, wenn eine der folgenden Bedingungen erfüllt ist (Artikel 6 Absatz 3 Buchstaben a bis d). Das System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen. Oder es ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern. Oder es ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen. Oder es ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist. Wie sich diese Bedingungen mit dem Test auf ein erhebliches Risiko verbinden, ist eine Frage für Ihre Rechtsberatung. Nimmt das System ein Profiling natürlicher Personen vor, gilt es immer als hochriskant. Profiling ist in Artikel 4 Nummer 4 DSGVO definiert (Artikel 3 Nummer 52). Ob ein bestimmtes Scoring- oder Preisbildungssystem ein Profiling vornimmt, ist ebenfalls eine Frage für Ihre Rechtsberatung. Ein Anbieter, der sich auf die Ausnahme beruft, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Er muss das System außerdem registrieren (Artikel 6 Absatz 4, Artikel 49 Absatz 2).

  • Anbieter und Betreiber

    Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in Verkehr bringt oder in Betrieb nimmt (Artikel 3 Nummer 3). Die Inbetriebnahme schließt die Bereitstellung zum Eigengebrauch ein (Artikel 3 Nummer 11). Wer als Bank oder Versicherer ein System entwickelt und unter eigenem Namen in Betrieb nimmt, ist daher Anbieter. Wer als Bank oder Versicherer ein System in eigener Verantwortung verwendet, ist Betreiber (Artikel 3 Nummer 4). Ein Betreiber wird in drei Fällen zum Anbieter. Er versieht ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit seinem Namen oder seiner Handelsmarke, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen. Er nimmt an einem solchen System eine wesentliche Veränderung vor, durch die es ein Hochrisiko-KI-System bleibt. Oder er ändert die Zweckbestimmung eines nicht als hochriskant eingestuften Systems so, dass es hochriskant wird (Artikel 25 Absatz 1). Der Anbieter, der das System ursprünglich in Verkehr gebracht oder in Betrieb genommen hatte, gilt dann nicht mehr als Anbieter dieses spezifischen Systems und muss eng mit dem neuen Anbieter zusammenarbeiten (Artikel 25 Absatz 2). Das gilt nicht, wenn der Erstanbieter eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.

  • Der Betreiber überträgt die Aufsicht kompetenten Personen

    Betreiber übertragen die menschliche Aufsicht natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, und lassen ihnen die erforderliche Unterstützung zukommen (Artikel 26 Absatz 2). Die Pflichten der Absätze 1 und 2 lassen andere Betreiberpflichten nach Unionsrecht oder nationalem Recht sowie die Freiheit des Betreibers unberührt, seine eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht zu organisieren (Artikel 26 Absatz 3).

  • Termine

    Die Anforderungen für diese Verwendungen nach Anhang III gelten ab dem 2. Dezember 2027 (Artikel 113 Absatz 3 Buchstabe c Ziffer i). Ein System, das vor diesem Termin in Verkehr gebracht oder in Betrieb genommen wurde, ist nur erfasst, wenn es danach erheblichen Veränderungen in Bezug auf seine Konzeption unterliegt. In jedem Fall treffen Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bestimmungsgemäß von Behörden verwendet werden sollen, die erforderlichen Maßnahmen zur Einhaltung bis zum 2. August 2030 (Artikel 111 Absatz 2).

  • Geldbußen

    Anbieter müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen von Kapitel III Abschnitt 2 erfüllen, zu dem die Artikel 9 bis 15 gehören (Artikel 16 Buchstabe a). Verstöße gegen die Anbieterpflichten nach Artikel 16 oder die Betreiberpflichten nach Artikel 26 können mit Geldbußen geahndet werden. Die Geldbuße beträgt bis zu 15 Mio. EUR oder, bei Unternehmen, bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist (Artikel 99 Absatz 4 Buchstaben a und e). Für KMU, einschließlich Start-up-Unternehmen, gilt für jede Geldbuße der jeweils niedrigere der beiden Beträge (Artikel 99 Absatz 6). Dasselbe gilt für kleine Midcap-Unternehmen (Artikel 3 Nummer 14b, Artikel 99 Absatz 6a). Jeder Mitgliedstaat erlässt Vorschriften darüber, in welchem Umfang gegen Behörden und öffentliche Stellen, die in dem betreffenden Mitgliedstaat niedergelassen sind, Geldbußen verhängt werden können (Artikel 99 Absatz 8).

  • Reichweite und Grenzen der Verordnung

    Die Verordnung gilt für Anbieter und Betreiber, die ihren Sitz in einem Drittland haben oder sich in einem Drittland befinden, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird (Artikel 2 Absatz 1 Buchstabe c). Sie gilt nur in den unter das Unionsrecht fallenden Bereichen und berührt nicht die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit (Artikel 2 Absatz 3). Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Artikel 2 Absatz 6). Sie gilt auch nicht für Forschungs-, Test- und Entwicklungstätigkeiten, bevor ein System in Verkehr gebracht oder in Betrieb genommen wird. Tests unter Realbedingungen fallen nicht unter diesen Ausschluss (Artikel 2 Absatz 8). KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, fallen nicht unter die Verordnung. Dieser Ausschluss gilt nicht, wenn sie als Hochrisiko-KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden oder wenn sie unter Artikel 5 oder 50 fallen (Artikel 2 Absatz 12).

Was die Verordnung für Fintech offenlässt

  • Keine Regel zur menschlichen Prüfung von Ablehnungen

    Die Verordnung enthält keine Regel, dass eine Person jede Kredit- oder Versicherungsentscheidung oder jede Ablehnung prüfen muss. Artikel 14 verlangt, dass das System durch Maßnahmen nach Artikel 14 Absatz 3 wirksam beaufsichtigt werden kann. Anderes Unionsrecht, etwa die DSGVO, kann Regeln zu automatisierten Entscheidungen hinzufügen; prüfen Sie diese gesondert. Die Verordnung selbst nennt keine harmonisierte Norm. Bei Hochrisiko-KI-Systemen, die mit harmonisierten Normen übereinstimmen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird die Konformität mit den Anforderungen gemäß Abschnitt 2 vermutet, soweit diese Anforderungen von den Normen abgedeckt sind (Artikel 40 Absatz 1). Die Kommission erarbeitet Leitlinien für die praktische Umsetzung der Anforderungen und Pflichten nach den Artikeln 8 bis 15, 25 und 26 (Artikel 96 Absatz 1 Buchstabe a).

  • Beispiel: Der Aufsichtsperson die wichtigsten Faktoren zeigen

    Beispiel, keine Anforderung der Verordnung: Der Anbieter eines Bonitätsbewertungssystems könnte der Aufsichtsperson die wichtigsten Faktoren hinter einem Score anzeigen. Er könnte außerdem eine Möglichkeit bieten, einen Fall zur manuellen Prüfung weiterzugeben.

  • Beispiel: Auf übermäßiges Vertrauen achten

    Beispiel, keine Anforderung der Verordnung: Ein Betreiber könnte erfassen, wie oft Mitarbeitende die Empfehlung des Systems ändern, um zu sehen, ob sie sich automatisch darauf verlassen (Automatisierungsbias, Artikel 14 Absatz 4 Buchstabe b).

Fragen zu Artikel 14 bei Fintech

Muss eine Person jede mit KI getroffene Kreditablehnung prüfen?

Eine solche Regel enthält die Verordnung nicht. Artikel 14 verlangt, dass der Anbieter das System so konzipiert, dass natürliche Personen es wirksam beaufsichtigen können, und Artikel 26 Absatz 2 verlangt, dass der Betreiber die Aufsicht kompetenten Personen überträgt. Anderes Unionsrecht, etwa die DSGVO, kann Pflichten zu automatisierten Entscheidungen hinzufügen.

Verlangt Artikel 14 eine Stopptaste für ein Bonitätsbewertungssystem?

Er verlangt, dass die Personen, denen die Aufsicht übertragen wurde, in den Betrieb des Systems eingreifen oder ihn mit einer „Stopptaste“ oder einem ähnlichen Verfahren unterbrechen können. Das Verfahren muss es dem System ermöglichen, in einem sicheren Zustand zum Stillstand zu kommen (Artikel 14 Absatz 4 Buchstabe e).

Gilt die Regel der Überprüfung durch zwei Personen für Fintech?

Nein. Artikel 14 Absatz 5 gilt nur für die in Anhang III Nummer 1 Buchstabe a genannten Hochrisiko-KI-Systeme.

Weiterführende Seiten

Scanara bereitet Nachweise aus Ihren Repositorien vor

Scanara liest Ihre verbundenen GitHub-Repositorien und führt regelbasierte Scans auf gängige KI- und Machine-Learning-Muster durch. Unübliche Codemuster kann es übersehen. Getrennt davon erzeugt es aus Vorlagen und Ihren Antworten in der Bewertung Dokumentationsentwürfe als Nachweise für Ihre Compliance-Arbeit. Die Einstufung entscheiden Sie.