Artículo 9 para la IA fintech: sistema de gestión de riesgos

El artículo 9 establece obligaciones para el proveedor. No fija ninguna lista de riesgos, valor de parámetro ni umbral para las fintech ni para ningún otro sector.

• art. 9(1)
  Establecer, implantar, documentar y mantener

  Debe establecerse, implantarse, documentarse y mantenerse un sistema de gestión de riesgos en relación con los sistemas de IA de alto riesgo.

• art. 9(2)
  Un proceso continuo durante todo el ciclo de vida

  El sistema es un proceso iterativo continuo, planificado y ejecutado durante todo el ciclo de vida, con revisiones y actualizaciones sistemáticas periódicas. Consta de cuatro etapas. Primero, determinar y analizar los riesgos conocidos y previsibles para la salud, la seguridad o los derechos fundamentales cuando el sistema se utiliza conforme a su finalidad prevista. Segundo, estimar y evaluar los riesgos que podrían surgir con ese uso y con un uso indebido razonablemente previsible. Tercero, evaluar otros riesgos a partir de los datos del sistema de vigilancia poscomercialización (artículo 72). Cuarto, adoptar medidas adecuadas y específicas de gestión de riesgos.

• art. 9(3)
  Solo los riesgos que el diseño o la información pueden abordar

  Los riesgos que se tienen en cuenta son los que pueden mitigarse o eliminarse razonablemente mediante el desarrollo o el diseño del sistema, o mediante el suministro de información técnica adecuada.

• art. 9(5)
  El riesgo residual debe considerarse aceptable

  El riesgo residual pertinente de cada peligro y el riesgo residual general deben considerarse aceptables. Los riesgos se eliminan o se reducen mediante un diseño y un desarrollo adecuados, en la medida en que sea técnicamente viable. Cuando proceda, se implantan medidas de mitigación y control apropiadas para los riesgos que no puedan eliminarse. Los responsables del despliegue reciben la información requerida conforme al artículo 13 y, cuando proceda, formación.

• art. 9(6)–(8)
  Pruebas con parámetros definidos de antemano

  Los sistemas de alto riesgo deben someterse a pruebas para determinar las medidas de gestión de riesgos más adecuadas. Las pruebas deben comprobar que funcionan de manera coherente con su finalidad prevista y cumplen los requisitos de la sección 2. Se realizan, según proceda, durante todo el desarrollo y, en todo caso, antes de introducir el sistema en el mercado o ponerlo en servicio. Se utilizan parámetros y umbrales de probabilidades previamente definidos y adecuados para la finalidad prevista. Los procedimientos de prueba podrán incluir pruebas en condiciones reales (artículo 60).

• art. 9(9)
  Menores de 18 años y otros colectivos vulnerables

  Los proveedores deben prestar atención a si, en vista de la finalidad prevista, es probable que el sistema afecte negativamente a las personas menores de 18 años y, en su caso, a otros colectivos vulnerables.

El artículo 9 se aplica solo a los sistemas de IA de alto riesgo. Las filas siguientes muestran cuándo la IA fintech pasa a ser de alto riesgo.

• Fintech no es una categoría del Reglamento

  El Reglamento no tiene una categoría «fintech». Este sitio usa la palabra para la IA que entra en el Reglamento por dos usos del anexo III, punto 5. El punto 5, letra b), abarca los sistemas de IA destinados a ser utilizados para evaluar la solvencia de personas físicas o establecer su calificación crediticia. Exceptúa los sistemas de IA utilizados al objeto de detectar fraudes financieros. El punto 5, letra c), abarca los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud. El punto 5 no menciona la detección de fraudes, los controles contra el blanqueo de capitales ni de conocimiento del cliente, la negociación algorítmica, el asesoramiento automatizado, los seguros distintos del seguro de vida, la tramitación de siniestros ni las decisiones de crédito sobre personas jurídicas. Un sistema para uno de estos usos es de alto riesgo solo si otro punto del anexo III o el anexo I lo cubre.

• El artículo 6, apartado 3, puede excluir un sistema del anexo III

  Un sistema del punto 5, letra b), o del punto 5, letra c), es de alto riesgo con arreglo al artículo 6, apartado 2. Con arreglo al artículo 6, apartado 3, no lo es si no plantea un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales. Eso incluye no influir sustancialmente en el resultado de la toma de decisiones. El Reglamento aplica esta excepción cuando se cumple cualquiera de las condiciones siguientes (artículo 6, apartado 3, letras a) a d)). Que el sistema esté destinado a realizar una tarea de procedimiento limitada. O que esté destinado a mejorar el resultado de una actividad humana previamente realizada. O que esté destinado a detectar patrones de toma de decisiones o desviaciones con respecto a patrones de toma de decisiones anteriores y no esté destinado a sustituir la valoración humana previamente realizada, ni a influir en ella, sin una revisión humana adecuada. O que esté destinado a realizar una tarea preparatoria para una evaluación que sea pertinente a efectos de los casos de uso enumerados en el anexo III. Cómo se combinan estas condiciones con el criterio del riesgo importante es una cuestión para un jurista. El sistema siempre es de alto riesgo si efectúa la elaboración de perfiles de personas físicas. El artículo 4, punto 4, del RGPD define la elaboración de perfiles (artículo 3, punto 52). Si un sistema concreto de calificación o de fijación de precios la efectúa también es una cuestión para un jurista. El proveedor que se acoja a la excepción documenta su evaluación antes de introducir el sistema en el mercado o ponerlo en servicio. También debe registrar el sistema (artículo 6, apartado 4, artículo 49, apartado 2).

• Proveedor y responsable del despliegue

  El proveedor desarrolla un sistema de IA, o lo manda desarrollar, y lo introduce en el mercado o lo pone en servicio bajo su propio nombre o marca (artículo 3, punto 3). La puesta en servicio incluye el suministro para uso propio del proveedor (artículo 3, punto 11). Un banco o una aseguradora que desarrolla un sistema y lo pone en servicio bajo su propio nombre es, por tanto, proveedor. Un banco o una aseguradora que utiliza un sistema bajo su propia autoridad es un responsable del despliegue (artículo 3, punto 4). El responsable del despliegue pasa a ser proveedor en tres casos. Pone su nombre o marca en un sistema de alto riesgo ya introducido en el mercado, sin perjuicio de los acuerdos contractuales que estipulen que las obligaciones se asignan de otro modo. Realiza una modificación sustancial de ese sistema que lo deja como de alto riesgo. O cambia la finalidad prevista de un sistema que no era de alto riesgo de modo que pase a serlo (artículo 25, apartado 1). El proveedor que inicialmente introdujo el sistema en el mercado o lo puso en servicio deja entonces de ser considerado proveedor de ese sistema específico y debe cooperar estrechamente con el nuevo proveedor (artículo 25, apartado 2). Esto no se aplica si el proveedor inicial indicó claramente que su sistema no debe ser transformado en un sistema de alto riesgo.

• Entidades financieras: qué pueden combinar

  Algunos proveedores están sujetos a requisitos relativos a procesos internos de gestión de riesgos con arreglo a otras disposiciones pertinentes del Derecho de la Unión. Para ellos, los aspectos del artículo 9, apartados 1 a 9, podrán formar parte de los procedimientos de gestión de riesgos establecidos con arreglo a dicho Derecho, o combinarse con ellos (artículo 9, apartado 10). Para los proveedores que son entidades financieras sujetas a requisitos de gobernanza interna con arreglo al Derecho de la Unión en materia de servicios financieros, se considera cumplida la obligación de establecer un sistema de gestión de la calidad cuando se respetan esas normas. Quedan exceptuados el sistema de gestión de riesgos, la vigilancia poscomercialización y la notificación de incidentes graves (artículo 17, apartado 4, que remite al artículo 17, apartado 1, letras g), h) e i)). El Reglamento no cita ninguna norma concreta de servicios financieros.

• Fechas

  Los requisitos para estos usos del anexo III se aplican desde el 2 de diciembre de 2027 (artículo 113, párrafo tercero, letra c), inciso i)). Un sistema introducido en el mercado o puesto en servicio antes de esa fecha solo queda cubierto si después sufre cambios significativos en su diseño. En cualquier caso, los proveedores y los responsables del despliegue de sistemas de IA de alto riesgo destinados a ser utilizados por autoridades públicas deben adoptar las medidas necesarias para cumplir a más tardar el 2 de agosto de 2030 (artículo 111, apartado 2).

• Multas

  Los proveedores deben velar por que sus sistemas de alto riesgo cumplan los requisitos de la sección 2 del capítulo III, que incluye los artículos 9 a 15 (artículo 16, letra a)). El incumplimiento de las obligaciones de los proveedores del artículo 16 o de las de los responsables del despliegue del artículo 26 puede sancionarse con multa. La multa es de hasta 15 millones de EUR o, si el infractor es una empresa, de hasta el 3 % de su volumen de negocios mundial total del ejercicio anterior, si esta cuantía es superior (artículo 99, apartado 4, letras a) y e)). Para las pymes, incluidas las empresas emergentes, cada multa tiene como límite la cuantía menor de las dos (artículo 99, apartado 6). Lo mismo rige para las pequeñas empresas de mediana capitalización (artículo 3, punto 14 ter, artículo 99, apartado 6 bis). Cada Estado miembro establece normas que determinan en qué medida es posible imponer multas administrativas a autoridades y organismos públicos establecidos en dicho Estado miembro (artículo 99, apartado 8).

• Alcance y límites del Reglamento

  El Reglamento se aplica a los proveedores y responsables del despliegue establecidos o ubicados en un tercer país cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión (artículo 2, apartado 1, letra c)). No se aplica a los ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión y no afecta a las competencias de los Estados miembros en materia de seguridad nacional (artículo 2, apartado 3). El Reglamento no se aplica a los sistemas o modelos de IA, incluidos sus resultados de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad (artículo 2, apartado 6). Tampoco se aplica a la actividad de investigación, prueba o desarrollo anterior a la introducción de un sistema en el mercado o su puesta en servicio. Las pruebas en condiciones reales no están cubiertas por esa exclusión (artículo 2, apartado 8). Los sistemas de IA publicados con arreglo a licencias libres y de código abierto quedan fuera del Reglamento. Esa exclusión no se aplica si se introducen en el mercado o se ponen en servicio como sistemas de IA de alto riesgo, o si entran en el ámbito de aplicación del artículo 5 o del artículo 50 (artículo 2, apartado 12).

• Sin lista de riesgos ni valores de prueba para las fintech

  El artículo 9 no nombra riesgos, parámetros ni valores umbral para la calificación crediticia ni para la fijación de precios de seguros. El proveedor determina los riesgos de su propio sistema y fija los parámetros y los umbrales que se ajustan a su finalidad prevista (artículo 9, apartados 2 y 8). El Reglamento no menciona por sí mismo ninguna norma armonizada. Se presume que los sistemas de alto riesgo conformes con normas armonizadas publicadas en el Diario Oficial son conformes con los requisitos de la sección 2, en la medida en que esas normas los contemplen (artículo 40, apartado 1). La Comisión elaborará directrices sobre la aplicación práctica de los requisitos y obligaciones de los artículos 8 a 15, 25 y 26 (artículo 96, apartado 1, letra a)).

• Ejemplo: riesgos de un sistema de calificación crediticia

  Ejemplo, no exigido por el Reglamento: el proveedor de un sistema de calificación crediticia podría incluir en su lista el riesgo de que los solicitantes de un grupo reciban sistemáticamente una puntuación más baja. Podría probar ese riesgo con un parámetro fijado antes de las pruebas y registrar el resultado.

• Ejemplo: riesgos de la fijación de precios de seguros

  Ejemplo, no exigido por el Reglamento: el proveedor de un sistema de fijación de precios de seguros podría preguntarse si sus precios perjudican a colectivos vulnerables (artículo 9, apartado 9). Después podría decidir qué cambio de diseño o qué instrucción de uso reduciría ese riesgo.

• Artículo 9: sistema de gestión de riesgos para la IA de alto riesgo

  El artículo 9 para todos los sectores: requisitos, fechas y multas.

• Reglamento IA fintech: guía de cumplimiento

  Resumen fintech: cómo alcanza el Reglamento a la IA de calificación crediticia y de seguros.

• Artículo 10 para la IA fintech: datos y gobernanza de datos

  IA fintech y artículo 10: conjuntos de datos, examen de sesgos y categorías especiales de datos personales.

• Artículo 6: clasificación de sistemas IA de alto riesgo

  Cómo clasifica el artículo 6 los sistemas de IA de alto riesgo, incluida la excepción del artículo 6, apartado 3.