Artículo 14 para la IA fintech: supervisión humana

El artículo 14 establece obligaciones de diseño para el proveedor. No contiene ninguna norma que obligue a una persona a revisar cada decisión individual.

• art. 14(1)
  Vigilancia efectiva por personas físicas

  Los sistemas de IA de alto riesgo deben diseñarse y desarrollarse, incluso con herramientas de interfaz humano-máquina adecuadas, de modo que personas físicas puedan vigilarlos de manera efectiva durante el período en que estén en uso.

• art. 14(2)
  Objetivo: prevenir o reducir al mínimo los riesgos

  El objetivo de la supervisión humana es prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando el sistema se utiliza conforme a su finalidad prevista o con un uso indebido razonablemente previsible. Esto se aplica en particular cuando dichos riesgos persisten a pesar de la aplicación de otros requisitos.

• art. 14(3)
  Medidas proporcionales al riesgo, a la autonomía y al contexto

  Las medidas de supervisión deben ser proporcionales a los riesgos, al nivel de autonomía y al contexto de uso. Se garantizan mediante medidas que el proveedor integra en el sistema cuando es técnicamente viable, mediante medidas que el proveedor define como adecuadas para que las ponga en práctica el responsable del despliegue, o mediante ambas.

• art. 14(4)(a)–(c)
  Entender, vigilar e interpretar

  El sistema debe ofrecerse de modo que las personas a quienes se encomiende la supervisión puedan, según proceda y de manera proporcionada, entender sus capacidades y limitaciones y vigilar su funcionamiento. Esto incluye detectar y resolver anomalías, problemas de funcionamiento y comportamientos inesperados. También deben poder ser conscientes de la posible tendencia a confiar automáticamente o en exceso en los resultados de salida («sesgo de automatización»), en particular con los sistemas que aportan información o recomendaciones para que personas físicas adopten una decisión. Y deben poder interpretar correctamente los resultados de salida.

• art. 14(4)(d), (e)
  Decidir no usarlo, descartar, invalidar, revertir o detener

  Las personas a quienes se encomiende la supervisión deben poder decidir, en cualquier situación concreta, no utilizar el sistema, o descartar, invalidar o revertir sus resultados de salida. También deben poder intervenir en su funcionamiento o interrumpirlo pulsando un botón de parada o mediante un procedimiento similar. Ese procedimiento debe permitir que el sistema se detenga de forma segura.

El artículo 14 se aplica solo a los sistemas de IA de alto riesgo. Las filas siguientes muestran cuándo la IA fintech pasa a ser de alto riesgo.

• Fintech no es una categoría del Reglamento

  El Reglamento no tiene una categoría «fintech». Este sitio usa la palabra para la IA que entra en el Reglamento por dos usos del anexo III, punto 5. El punto 5, letra b), abarca los sistemas de IA destinados a ser utilizados para evaluar la solvencia de personas físicas o establecer su calificación crediticia. Exceptúa los sistemas de IA utilizados al objeto de detectar fraudes financieros. El punto 5, letra c), abarca los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud. El punto 5 no menciona la detección de fraudes, los controles contra el blanqueo de capitales ni de conocimiento del cliente, la negociación algorítmica, el asesoramiento automatizado, los seguros distintos del seguro de vida, la tramitación de siniestros ni las decisiones de crédito sobre personas jurídicas. Un sistema para uno de estos usos es de alto riesgo solo si otro punto del anexo III o el anexo I lo cubre.

• El artículo 6, apartado 3, puede excluir un sistema del anexo III

  Un sistema del punto 5, letra b), o del punto 5, letra c), es de alto riesgo con arreglo al artículo 6, apartado 2. Con arreglo al artículo 6, apartado 3, no lo es si no plantea un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales. Eso incluye no influir sustancialmente en el resultado de la toma de decisiones. El Reglamento aplica esta excepción cuando se cumple cualquiera de las condiciones siguientes (artículo 6, apartado 3, letras a) a d)). Que el sistema esté destinado a realizar una tarea de procedimiento limitada. O que esté destinado a mejorar el resultado de una actividad humana previamente realizada. O que esté destinado a detectar patrones de toma de decisiones o desviaciones con respecto a patrones de toma de decisiones anteriores y no esté destinado a sustituir la valoración humana previamente realizada, ni a influir en ella, sin una revisión humana adecuada. O que esté destinado a realizar una tarea preparatoria para una evaluación que sea pertinente a efectos de los casos de uso enumerados en el anexo III. Cómo se combinan estas condiciones con el criterio del riesgo importante es una cuestión para un jurista. El sistema siempre es de alto riesgo si efectúa la elaboración de perfiles de personas físicas. El artículo 4, punto 4, del RGPD define la elaboración de perfiles (artículo 3, punto 52). Si un sistema concreto de calificación o de fijación de precios la efectúa también es una cuestión para un jurista. El proveedor que se acoja a la excepción documenta su evaluación antes de introducir el sistema en el mercado o ponerlo en servicio. También debe registrar el sistema (artículo 6, apartado 4, artículo 49, apartado 2).

• Proveedor y responsable del despliegue

  El proveedor desarrolla un sistema de IA, o lo manda desarrollar, y lo introduce en el mercado o lo pone en servicio bajo su propio nombre o marca (artículo 3, punto 3). La puesta en servicio incluye el suministro para uso propio del proveedor (artículo 3, punto 11). Un banco o una aseguradora que desarrolla un sistema y lo pone en servicio bajo su propio nombre es, por tanto, proveedor. Un banco o una aseguradora que utiliza un sistema bajo su propia autoridad es un responsable del despliegue (artículo 3, punto 4). El responsable del despliegue pasa a ser proveedor en tres casos. Pone su nombre o marca en un sistema de alto riesgo ya introducido en el mercado, sin perjuicio de los acuerdos contractuales que estipulen que las obligaciones se asignan de otro modo. Realiza una modificación sustancial de ese sistema que lo deja como de alto riesgo. O cambia la finalidad prevista de un sistema que no era de alto riesgo de modo que pase a serlo (artículo 25, apartado 1). El proveedor que inicialmente introdujo el sistema en el mercado o lo puso en servicio deja entonces de ser considerado proveedor de ese sistema específico y debe cooperar estrechamente con el nuevo proveedor (artículo 25, apartado 2). Esto no se aplica si el proveedor inicial indicó claramente que su sistema no debe ser transformado en un sistema de alto riesgo.

• El responsable del despliegue encomienda la supervisión a personas competentes

  Los responsables del despliegue deben encomendar la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias, y el apoyo necesario (artículo 26, apartado 2). Las obligaciones de los apartados 1 y 2 no afectan a otras obligaciones del responsable del despliegue con arreglo al Derecho de la Unión o nacional ni a su libertad para organizar sus propios recursos y actividades con el fin de poner en práctica las medidas de supervisión humana que indique el proveedor (artículo 26, apartado 3).

• Fechas

  Los requisitos para estos usos del anexo III se aplican desde el 2 de diciembre de 2027 (artículo 113, párrafo tercero, letra c), inciso i)). Un sistema introducido en el mercado o puesto en servicio antes de esa fecha solo queda cubierto si después sufre cambios significativos en su diseño. En cualquier caso, los proveedores y los responsables del despliegue de sistemas de IA de alto riesgo destinados a ser utilizados por autoridades públicas deben adoptar las medidas necesarias para cumplir a más tardar el 2 de agosto de 2030 (artículo 111, apartado 2).

• Multas

  Los proveedores deben velar por que sus sistemas de alto riesgo cumplan los requisitos de la sección 2 del capítulo III, que incluye los artículos 9 a 15 (artículo 16, letra a)). El incumplimiento de las obligaciones de los proveedores del artículo 16 o de las de los responsables del despliegue del artículo 26 puede sancionarse con multa. La multa es de hasta 15 millones de EUR o, si el infractor es una empresa, de hasta el 3 % de su volumen de negocios mundial total del ejercicio anterior, si esta cuantía es superior (artículo 99, apartado 4, letras a) y e)). Para las pymes, incluidas las empresas emergentes, cada multa tiene como límite la cuantía menor de las dos (artículo 99, apartado 6). Lo mismo rige para las pequeñas empresas de mediana capitalización (artículo 3, punto 14 ter, artículo 99, apartado 6 bis). Cada Estado miembro establece normas que determinan en qué medida es posible imponer multas administrativas a autoridades y organismos públicos establecidos en dicho Estado miembro (artículo 99, apartado 8).

• Alcance y límites del Reglamento

  El Reglamento se aplica a los proveedores y responsables del despliegue establecidos o ubicados en un tercer país cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión (artículo 2, apartado 1, letra c)). No se aplica a los ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión y no afecta a las competencias de los Estados miembros en materia de seguridad nacional (artículo 2, apartado 3). El Reglamento no se aplica a los sistemas o modelos de IA, incluidos sus resultados de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad (artículo 2, apartado 6). Tampoco se aplica a la actividad de investigación, prueba o desarrollo anterior a la introducción de un sistema en el mercado o su puesta en servicio. Las pruebas en condiciones reales no están cubiertas por esa exclusión (artículo 2, apartado 8). Los sistemas de IA publicados con arreglo a licencias libres y de código abierto quedan fuera del Reglamento. Esa exclusión no se aplica si se introducen en el mercado o se ponen en servicio como sistemas de IA de alto riesgo, o si entran en el ámbito de aplicación del artículo 5 o del artículo 50 (artículo 2, apartado 12).

• Sin norma de revisión humana de las denegaciones

  El Reglamento no contiene ninguna norma que obligue a una persona a revisar cada decisión de crédito o de seguro ni cada denegación. El artículo 14 exige que el sistema pueda vigilarse de manera efectiva, mediante medidas con arreglo al artículo 14, apartado 3. Otro Derecho de la Unión, como el RGPD, puede añadir normas sobre decisiones automatizadas; compruébelas por separado. El Reglamento no menciona por sí mismo ninguna norma armonizada. Se presume que los sistemas de alto riesgo conformes con normas armonizadas publicadas en el Diario Oficial son conformes con los requisitos de la sección 2, en la medida en que esas normas los contemplen (artículo 40, apartado 1). La Comisión elaborará directrices sobre la aplicación práctica de los requisitos y obligaciones de los artículos 8 a 15, 25 y 26 (artículo 96, apartado 1, letra a)).

• Ejemplo: mostrar al supervisor los factores principales

  Ejemplo, no exigido por el Reglamento: el proveedor de un sistema de calificación crediticia podría mostrar al supervisor los factores principales de una puntuación. También podría ofrecer una vía para remitir un caso a evaluación manual.

• Ejemplo: vigilar la confianza excesiva

  Ejemplo, no exigido por el Reglamento: un responsable del despliegue podría registrar con qué frecuencia su personal modifica la recomendación del sistema, para ver si confía en ella automáticamente (sesgo de automatización, artículo 14, apartado 4, letra b)).

• Artículo 14 reglamento IA: supervisión humana y botón de parada

  El artículo 14 para todos los sectores: requisitos, fechas y multas.

• Reglamento IA fintech: guía de cumplimiento

  Resumen fintech: cómo alcanza el Reglamento a la IA de calificación crediticia y de seguros.

• Artículo 9 para la IA fintech: sistema de gestión de riesgos

  IA fintech y artículo 9: el sistema de gestión de riesgos.

• Artículo 26: obligaciones del responsable del despliegue de IA de alto riesgo

  El artículo 26 para todos los sectores, incluida la encomienda de la supervisión humana del artículo 26, apartado 2.