Artículo 10 para la IA fintech: datos y gobernanza de datos

El artículo 10 establece obligaciones para el proveedor. No menciona ningún volumen de datos, valor de precisión ni plazo de conservación.

• art. 10(1), (6)
  Conjuntos de datos que cumplen los criterios de calidad

  Los sistemas de IA de alto riesgo que entrenan modelos de IA con datos deben desarrollarse a partir de conjuntos de datos de entrenamiento, validación y prueba. Esos conjuntos deben cumplir los criterios de calidad de los apartados 2, 3 y 4 y del artículo 4 bis, apartado 1, siempre que se utilicen. En los sistemas que no entrenan modelos, estas disposiciones se aplican solo a los conjuntos de datos de prueba.

• art. 10(2)
  Prácticas de gobernanza y gestión de datos

  Los conjuntos de datos deben someterse a prácticas de gobernanza y gestión de datos adecuadas para la finalidad prevista. Estas prácticas se refieren en particular a las decisiones de diseño, a los procesos de recogida de datos y al origen de los datos y, en el caso de los datos personales, a la finalidad original de la recogida. También se refieren a las operaciones de preparación de los datos, como la anotación, el etiquetado, la depuración, la actualización, el enriquecimiento y la agregación. Se refieren a los supuestos sobre lo que miden y representan los datos. Y se refieren a la disponibilidad, la cantidad y la adecuación de los conjuntos de datos necesarios, y a las lagunas o deficiencias de los datos y a cómo subsanarlas.

• art. 10(2)(f), (g)
  Examinar los sesgos y luego detectarlos, prevenirlos y mitigarlos

  Las prácticas deben incluir un examen atendiendo a posibles sesgos (letra f)). Abarca los sesgos que puedan afectar a la salud y la seguridad de las personas, afectar negativamente a los derechos fundamentales o dar lugar a una discriminación prohibida por el Derecho de la Unión, especialmente cuando las salidas de datos influyan en las informaciones de entrada de futuras operaciones. También deben incluir medidas adecuadas para detectar, prevenir y mitigar los sesgos detectados (letra g)).

• art. 10(3)
  Pertinentes, representativos y, en la medida de lo posible, sin errores

  Los conjuntos de datos deben ser pertinentes, suficientemente representativos y, en la mayor medida posible, carecer de errores y estar completos en vista de la finalidad prevista. Deben tener las propiedades estadísticas adecuadas, también, cuando proceda, en lo que respecta a las personas o los colectivos de personas en relación con los cuales esté previsto utilizar el sistema. Estas características pueden cumplirse en cada conjunto de datos o en una combinación de ellos.

• art. 10(4)
  Adecuados al entorno de uso

  Los conjuntos de datos deben tener en cuenta las características o los elementos particulares del entorno geográfico, contextual, conductual o funcional específico en el que esté previsto utilizar el sistema. Esto se aplica en la medida en que lo exija la finalidad prevista.

El artículo 10 se aplica solo a los sistemas de IA de alto riesgo. Las filas siguientes muestran cuándo la IA fintech pasa a ser de alto riesgo.

• Fintech no es una categoría del Reglamento

  El Reglamento no tiene una categoría «fintech». Este sitio usa la palabra para la IA que entra en el Reglamento por dos usos del anexo III, punto 5. El punto 5, letra b), abarca los sistemas de IA destinados a ser utilizados para evaluar la solvencia de personas físicas o establecer su calificación crediticia. Exceptúa los sistemas de IA utilizados al objeto de detectar fraudes financieros. El punto 5, letra c), abarca los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud. El punto 5 no menciona la detección de fraudes, los controles contra el blanqueo de capitales ni de conocimiento del cliente, la negociación algorítmica, el asesoramiento automatizado, los seguros distintos del seguro de vida, la tramitación de siniestros ni las decisiones de crédito sobre personas jurídicas. Un sistema para uno de estos usos es de alto riesgo solo si otro punto del anexo III o el anexo I lo cubre.

• El artículo 6, apartado 3, puede excluir un sistema del anexo III

  Un sistema del punto 5, letra b), o del punto 5, letra c), es de alto riesgo con arreglo al artículo 6, apartado 2. Con arreglo al artículo 6, apartado 3, no lo es si no plantea un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales. Eso incluye no influir sustancialmente en el resultado de la toma de decisiones. El Reglamento aplica esta excepción cuando se cumple cualquiera de las condiciones siguientes (artículo 6, apartado 3, letras a) a d)). Que el sistema esté destinado a realizar una tarea de procedimiento limitada. O que esté destinado a mejorar el resultado de una actividad humana previamente realizada. O que esté destinado a detectar patrones de toma de decisiones o desviaciones con respecto a patrones de toma de decisiones anteriores y no esté destinado a sustituir la valoración humana previamente realizada, ni a influir en ella, sin una revisión humana adecuada. O que esté destinado a realizar una tarea preparatoria para una evaluación que sea pertinente a efectos de los casos de uso enumerados en el anexo III. Cómo se combinan estas condiciones con el criterio del riesgo importante es una cuestión para un jurista. El sistema siempre es de alto riesgo si efectúa la elaboración de perfiles de personas físicas. El artículo 4, punto 4, del RGPD define la elaboración de perfiles (artículo 3, punto 52). Si un sistema concreto de calificación o de fijación de precios la efectúa también es una cuestión para un jurista. El proveedor que se acoja a la excepción documenta su evaluación antes de introducir el sistema en el mercado o ponerlo en servicio. También debe registrar el sistema (artículo 6, apartado 4, artículo 49, apartado 2).

• Proveedor y responsable del despliegue

  El proveedor desarrolla un sistema de IA, o lo manda desarrollar, y lo introduce en el mercado o lo pone en servicio bajo su propio nombre o marca (artículo 3, punto 3). La puesta en servicio incluye el suministro para uso propio del proveedor (artículo 3, punto 11). Un banco o una aseguradora que desarrolla un sistema y lo pone en servicio bajo su propio nombre es, por tanto, proveedor. Un banco o una aseguradora que utiliza un sistema bajo su propia autoridad es un responsable del despliegue (artículo 3, punto 4). El responsable del despliegue pasa a ser proveedor en tres casos. Pone su nombre o marca en un sistema de alto riesgo ya introducido en el mercado, sin perjuicio de los acuerdos contractuales que estipulen que las obligaciones se asignan de otro modo. Realiza una modificación sustancial de ese sistema que lo deja como de alto riesgo. O cambia la finalidad prevista de un sistema que no era de alto riesgo de modo que pase a serlo (artículo 25, apartado 1). El proveedor que inicialmente introdujo el sistema en el mercado o lo puso en servicio deja entonces de ser considerado proveedor de ese sistema específico y debe cooperar estrechamente con el nuevo proveedor (artículo 25, apartado 2). Esto no se aplica si el proveedor inicial indicó claramente que su sistema no debe ser transformado en un sistema de alto riesgo.

• Categorías especiales de datos personales: artículo 4 bis

  Además del RGPD y de las demás normas de protección de datos aplicables, los proveedores de sistemas de IA de alto riesgo podrán tratar excepcionalmente categorías especiales de datos personales. Se permite en la medida en que sea estrictamente necesario para la detección y corrección de sesgos con arreglo al artículo 10, apartado 2, letras f) y g). Deben cumplirse todas las condiciones del artículo 4 bis, apartado 1, letras a) a f). Entre ellas figura que el tratamiento de otros datos, como los sintéticos o los anonimizados, no permita efectuar de forma efectiva la detección y corrección de sesgos. También figura que los datos se eliminen una vez corregido el sesgo o al llegar al final de su período de conservación, si esta fecha es anterior. El artículo 4 bis, apartado 2, da a los proveedores y responsables del despliegue de otros sistemas de IA, y a los responsables del despliegue de sistemas de alto riesgo, la misma posibilidad en las mismas condiciones. No crea ninguna obligación de llevar a cabo la detección y corrección de sesgos.

• Fechas

  Los requisitos para estos usos del anexo III se aplican desde el 2 de diciembre de 2027 (artículo 113, párrafo tercero, letra c), inciso i)). Un sistema introducido en el mercado o puesto en servicio antes de esa fecha solo queda cubierto si después sufre cambios significativos en su diseño. En cualquier caso, los proveedores y los responsables del despliegue de sistemas de IA de alto riesgo destinados a ser utilizados por autoridades públicas deben adoptar las medidas necesarias para cumplir a más tardar el 2 de agosto de 2030 (artículo 111, apartado 2).

• Multas

  Los proveedores deben velar por que sus sistemas de alto riesgo cumplan los requisitos de la sección 2 del capítulo III, que incluye los artículos 9 a 15 (artículo 16, letra a)). El incumplimiento de las obligaciones de los proveedores del artículo 16 o de las de los responsables del despliegue del artículo 26 puede sancionarse con multa. La multa es de hasta 15 millones de EUR o, si el infractor es una empresa, de hasta el 3 % de su volumen de negocios mundial total del ejercicio anterior, si esta cuantía es superior (artículo 99, apartado 4, letras a) y e)). Para las pymes, incluidas las empresas emergentes, cada multa tiene como límite la cuantía menor de las dos (artículo 99, apartado 6). Lo mismo rige para las pequeñas empresas de mediana capitalización (artículo 3, punto 14 ter, artículo 99, apartado 6 bis). Cada Estado miembro establece normas que determinan en qué medida es posible imponer multas administrativas a autoridades y organismos públicos establecidos en dicho Estado miembro (artículo 99, apartado 8).

• Alcance y límites del Reglamento

  El Reglamento se aplica a los proveedores y responsables del despliegue establecidos o ubicados en un tercer país cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión (artículo 2, apartado 1, letra c)). No se aplica a los ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión y no afecta a las competencias de los Estados miembros en materia de seguridad nacional (artículo 2, apartado 3). El Reglamento no se aplica a los sistemas o modelos de IA, incluidos sus resultados de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad (artículo 2, apartado 6). Tampoco se aplica a la actividad de investigación, prueba o desarrollo anterior a la introducción de un sistema en el mercado o su puesta en servicio. Las pruebas en condiciones reales no están cubiertas por esa exclusión (artículo 2, apartado 8). Los sistemas de IA publicados con arreglo a licencias libres y de código abierto quedan fuera del Reglamento. Esa exclusión no se aplica si se introducen en el mercado o se ponen en servicio como sistemas de IA de alto riesgo, o si entran en el ámbito de aplicación del artículo 5 o del artículo 50 (artículo 2, apartado 12).

• Sin norma de datos para las fintech

  El artículo 10 no menciona ningún tamaño mínimo de datos, medida de representatividad, parámetro de sesgo ni fuente de datos aceptada para el crédito o los seguros. El proveedor decide qué es adecuado para la finalidad prevista (artículo 10, apartado 2). El Reglamento no menciona por sí mismo ninguna norma armonizada. Se presume que los sistemas de alto riesgo conformes con normas armonizadas publicadas en el Diario Oficial son conformes con los requisitos de la sección 2, en la medida en que esas normas los contemplen (artículo 40, apartado 1). Se presume que los sistemas entrenados y probados con datos que reflejan el entorno geográfico, conductual, contextual o funcional específico de uso previsto cumplen el artículo 10, apartado 4 (artículo 42, apartado 1). La Comisión elaborará directrices sobre la aplicación práctica de los requisitos y obligaciones de los artículos 8 a 15, 25 y 26 (artículo 96, apartado 1, letra a)).

• Ejemplo: examen de sesgos en la calificación crediticia

  Ejemplo, no exigido por el Reglamento: el proveedor de un sistema de calificación crediticia podría comparar las tasas de aprobación y de error entre los grupos de solicitantes del conjunto de datos. Podría documentar qué grupos están infrarrepresentados en los datos.

• Ejemplo: decisiones históricas como etiquetas de entrenamiento

  Ejemplo, no exigido por el Reglamento: un modelo puede entrenarse con decisiones pasadas de concesión de crédito o de suscripción de seguros. El proveedor podría examinar antes del entrenamiento si esas decisiones contienen sesgos, pues el artículo 10, apartado 2, letra f), pide un examen atendiendo a posibles sesgos.

• Artículo 10: gobernanza de datos para la IA de alto riesgo

  El artículo 10 para todos los sectores: requisitos, fechas y multas.

• Reglamento IA fintech: guía de cumplimiento

  Resumen fintech: cómo alcanza el Reglamento a la IA de calificación crediticia y de seguros.

• Artículo 12 para la IA fintech: conservación de registros y archivos de registro

  IA fintech y artículo 12: registro automático y quién conserva los archivos de registro.

• Reglamento IA vs RGPD: diferencias y solapamientos

  Cómo se solapan el Reglamento de IA y el RGPD.