Artículo 13 para la IA educativa: transparencia e información a los responsables del despliegue

El artículo 13 establece obligaciones para el proveedor. Su destinatario es el responsable del despliegue, como un centro escolar, una universidad o un organismo examinador.

• art. 13(1)
  Suficientemente transparentes para interpretar los resultados de salida

  Los sistemas de alto riesgo deben diseñarse y desarrollarse de un modo que se garantice que su funcionamiento tiene un nivel de transparencia suficiente para que los responsables del despliegue interpreten y usen correctamente los resultados de salida del sistema. Debe garantizarse un tipo y un nivel de transparencia adecuados para que el proveedor y el responsable del despliegue cumplan las obligaciones pertinentes previstas en la sección 3.

• art. 13(2)
  Instrucciones de uso

  Los sistemas de alto riesgo deben ir acompañados de instrucciones de uso en un formato digital o de otro tipo adecuado. Incluyen información concisa, completa, correcta y clara que sea pertinente, accesible y comprensible para los responsables del despliegue.

• art. 13(3)(a)–(c)
  Identidad, funcionamiento y riesgos

  Las instrucciones contienen al menos: a) la identidad y los datos de contacto del proveedor y, en su caso, de su representante autorizado; b) las características, capacidades y limitaciones del funcionamiento del sistema, con inclusión de: i) su finalidad prevista, ii) el nivel de precisión (incluidos los parámetros para medirla), solidez y ciberseguridad mencionado en el artículo 15 con respecto al cual se haya probado y validado el sistema y que puede esperarse, así como cualquier circunstancia conocida y previsible que pueda afectar a ese nivel, e iii) cualquier circunstancia conocida o previsible de utilización que pueda dar lugar a riesgos para la salud y la seguridad o los derechos fundamentales a que se refiere el artículo 9, apartado 2; c) los cambios en el sistema y su funcionamiento predeterminados por el proveedor en el momento de efectuar la evaluación de la conformidad inicial, en su caso.

• art. 13(3)(b)(iv)–(vii)
  Elementos que dependen del sistema

  También forman parte de la letra b), con las condiciones propias del Reglamento: iv) en su caso, las capacidades y características técnicas del sistema para proporcionar información pertinente para explicar sus resultados de salida; v) cuando proceda, su funcionamiento con respecto a determinadas personas o determinados colectivos de personas en relación con los que esté previsto utilizar el sistema; vi) cuando proceda, especificaciones relativas a los datos de entrada, o cualquier otra información pertinente en relación con los conjuntos de datos de entrenamiento, validación y prueba usados, teniendo en cuenta la finalidad prevista; vii) en su caso, información que permita a los responsables del despliegue interpretar los resultados de salida y utilizarlos adecuadamente.

• art. 13(3)(d)–(f)
  Supervisión, recursos y archivos de registro

  Las instrucciones contienen también: d) las medidas de supervisión humana a que se hace referencia en el artículo 14, incluidas las medidas técnicas establecidas para facilitar la interpretación de los resultados de salida por parte de los responsables del despliegue; e) los recursos informáticos y de hardware necesarios, la vida útil prevista del sistema y las medidas de mantenimiento y cuidado necesarias (incluida su frecuencia), también en lo que respecta a las actualizaciones del software; f) cuando proceda, una descripción de los mecanismos incluidos en el sistema que permitan a los responsables del despliegue recabar, almacenar e interpretar correctamente los archivos de registro de conformidad con el artículo 12.

El artículo 13 se aplica solo a los sistemas de IA de alto riesgo. Las filas siguientes muestran cuándo la IA educativa pasa a ser de alto riesgo y a quién debe llegar la información.

• El Reglamento no tiene un régimen de educación aplicable a todo el sector

  El Reglamento no tiene un régimen de educación aplicable a todo el sector. El anexo III, punto 3, es el ámbito de alto riesgo titulado «Educación y formación profesional». Este sitio usa la palabra educación para la IA que entra en el Reglamento por ese punto. El punto 3 enumera cuatro usos. a) Sistemas de IA destinados a ser utilizados para determinar el acceso o la admisión de personas físicas a centros educativos y de formación profesional a todos los niveles, o para distribuir a las personas físicas entre dichos centros. b) Sistemas de IA destinados a ser utilizados para evaluar los resultados del aprendizaje, también cuando dichos resultados se utilicen para orientar el proceso de aprendizaje de las personas físicas. c) Sistemas de IA destinados a ser utilizados para evaluar el nivel de educación adecuado que recibirá una persona o al que podrá acceder. d) Sistemas de IA destinados a ser utilizados para el seguimiento y la detección de comportamientos prohibidos por parte de los estudiantes durante los exámenes. Cada uso está vinculado a centros educativos y de formación profesional a todos los niveles. El punto 3 no menciona como tales el plagio ni la detección de textos generados por IA, la predicción del abandono escolar, los paneles de aprendizaje, los chatbots administrativos ni el aprendizaje adaptativo. Un sistema para uno de estos usos es de alto riesgo solo si su finalidad prevista coincide con uno de los cuatro usos, o si otro punto del anexo III o el anexo I lo cubre.

• Inferir emociones en los centros educativos: prohibido, con una excepción por motivos médicos o de seguridad

  El artículo 5, apartado 1, letra f), prohíbe introducir en el mercado, poner en servicio para este fin específico o utilizar sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad. La prohibición se aplica desde el 2 de febrero de 2025 (artículo 113, letra a)). Es una prohibición, no un uso de alto riesgo: la excepción no crea ninguna obligación y no es un punto de conexión del anexo III. Una función de un sistema educativo que infiere las emociones de los estudiantes entra en la letra f), salvo que se aplique la excepción. El incumplimiento puede sancionarse con multas de hasta 35 millones de EUR o, si el infractor es una empresa, de hasta el 7 % de su volumen de negocios mundial total anual, si esta cuantía es superior (artículo 99, apartado 3). Para las pymes, incluidas las empresas emergentes, cada multa tiene como límite la cuantía menor de las dos (artículo 99, apartado 6).

• El artículo 6, apartado 3, puede excluir un sistema del anexo III

  Un sistema del punto 3 es de alto riesgo con arreglo al artículo 6, apartado 2. Como excepción, un sistema del anexo III no es de alto riesgo con arreglo al artículo 6, apartado 3 cuando no plantee un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas, también al no influir sustancialmente en el resultado de la toma de decisiones. Esto se aplica cuando se cumple cualquiera de las cuatro condiciones siguientes: a) que el sistema esté destinado a realizar una tarea de procedimiento limitada; b) que esté destinado a mejorar el resultado de una actividad humana previamente realizada; c) que esté destinado a detectar patrones de toma de decisiones o desviaciones con respecto a patrones de toma de decisiones anteriores y no esté destinado a sustituir la valoración humana previamente realizada sin una revisión humana adecuada, ni a influir en ella; o d) que esté destinado a realizar una tarea preparatoria para una evaluación que sea pertinente a efectos de los casos de uso enumerados en el anexo III. Un sistema del anexo III siempre es de alto riesgo cuando efectúa la elaboración de perfiles de personas físicas (artículo 3, punto 52, artículo 4, punto 4, del RGPD). El proveedor que considere que su sistema del anexo III no es de alto riesgo documenta su evaluación antes de introducir el sistema en el mercado o ponerlo en servicio, y lo registra (artículo 6, apartado 4, artículo 49, apartado 2). Si un sistema educativo concreto efectúa la elaboración de perfiles es una cuestión para un jurista.

• Proveedor y responsable del despliegue

  El proveedor desarrolla un sistema de IA, o lo manda desarrollar, y lo introduce en el mercado o lo pone en servicio bajo su propio nombre o marca (artículo 3, punto 3). La puesta en servicio incluye el suministro para uso propio (artículo 3, punto 11). Un centro escolar, una universidad o un organismo examinador que utiliza un sistema bajo su propia autoridad es un responsable del despliegue (artículo 3, punto 4). Una universidad que desarrolla un sistema y lo pone en servicio para su propio uso bajo su propio nombre es, por tanto, proveedor. El responsable del despliegue pasa a ser proveedor de un sistema de alto riesgo en tres casos: pone su nombre o marca en un sistema ya introducido en el mercado, sin perjuicio de los acuerdos contractuales que estipulen otra distribución de las obligaciones; realiza una modificación sustancial que deja el sistema como de alto riesgo; o modifica la finalidad prevista de un sistema que no es de alto riesgo de modo que pase a serlo (artículo 25, apartado 1).

• Información a los estudiantes: artículo 26, apartado 11, y artículo 86, no el artículo 13

  El artículo 13 no exige informar a los estudiantes ni a sus padres. Con arreglo al artículo 26, apartado 11, y sin perjuicio de lo dispuesto en el artículo 50, los responsables del despliegue de sistemas de alto riesgo mencionados en el anexo III que tomen decisiones o ayuden a tomar decisiones relacionadas con personas físicas deben informar a las personas físicas de que están expuestas a la utilización del sistema de IA de alto riesgo. El artículo 86, apartado 1, da a toda persona afectada por una decisión que el responsable del despliegue adopte basándose en los resultados de salida de un sistema del anexo III (con excepción de su punto 2), y que produzca efectos jurídicos o le afecte considerablemente del mismo modo, de manera que considere que tiene un efecto perjudicial para su salud, su seguridad o sus derechos fundamentales, el derecho a obtener del responsable del despliegue explicaciones claras y significativas acerca del papel que el sistema de IA ha tenido en el proceso de toma de decisiones y los principales elementos de la decisión adoptada. El artículo 86, apartados 2 y 3, establece excepciones. El artículo 85 permite a toda persona física o jurídica que tenga motivos para considerar que se ha infringido el Reglamento presentar una reclamación ante la autoridad de vigilancia del mercado.

• Fechas

  Las secciones 1 a 3 del capítulo III, que incluyen los artículos 9 a 15, 17, 26 y 27, se aplican a los sistemas de IA clasificados como de alto riesgo con arreglo al artículo 6, apartado 2, y al anexo III desde el 2 de diciembre de 2027 (artículo 113, letra c), inciso i)). Un sistema de alto riesgo introducido en el mercado o puesto en servicio antes de esa fecha solo queda cubierto si, a partir de ella, sufre cambios significativos en su diseño. En cualquier caso, los proveedores y los responsables del despliegue de los sistemas de IA de alto riesgo destinados a ser utilizados por las autoridades públicas deben adoptar las medidas necesarias para cumplir los requisitos y obligaciones establecidos en el Reglamento a más tardar el 2 de agosto de 2030 (artículo 111, apartado 2). El Reglamento no dice si esto se aplica también a los sistemas introducidos en el mercado o puestos en servicio después del 2 de diciembre de 2027; es una cuestión para un jurista.

• Multas

  Los proveedores deben velar por que sus sistemas de alto riesgo cumplan los requisitos de la sección 2 del capítulo III, que incluye los artículos 9 a 15 (artículo 16, letra a)). El incumplimiento de las obligaciones de los proveedores del artículo 16 o de las de los responsables del despliegue del artículo 26 puede sancionarse con multa. La multa es de hasta 15 millones de EUR o, si el infractor es una empresa, de hasta el 3 % de su volumen de negocios mundial total del ejercicio anterior, si esta cuantía es superior (artículo 99, apartado 4, letras a) y e)). Para las pymes, incluidas las empresas emergentes, cada multa tiene como límite la cuantía menor de las dos (artículo 99, apartado 6). Lo mismo rige para las pequeñas empresas de mediana capitalización (artículo 3, punto 14 ter, artículo 99, apartado 6 bis). Cada Estado miembro establece en qué medida pueden imponerse multas administrativas a las autoridades y organismos públicos (artículo 99, apartado 8).

• Sistemas y usos fuera del Reglamento

  El Reglamento se aplica a los proveedores que introduzcan en el mercado o pongan en servicio sistemas de IA en la Unión, con independencia de si están establecidos o ubicados en la Unión o en un tercer país, y a los proveedores y responsables del despliegue de sistemas de IA que estén establecidos o ubicados en un tercer país, cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión (artículo 2, apartado 1, letras a) y c)). No se aplica a los ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión y, en cualquier caso, no afecta a las competencias de los Estados miembros en materia de seguridad nacional (artículo 2, apartado 3). No se aplica a los sistemas de IA que, y en la medida en que, se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modificaciones, exclusivamente con fines militares, de defensa o de seguridad nacional, ni a los sistemas de IA que no se introduzcan en el mercado o no se pongan en servicio en la Unión en los casos en que sus resultados de salida se utilicen en la Unión exclusivamente con esos fines (artículo 2, apartado 3). No se aplica a los sistemas de IA o modelos de IA, incluidos sus resultados de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad (artículo 2, apartado 6). No se aplica a la actividad de investigación, prueba o desarrollo anterior a la introducción de un sistema en el mercado o su puesta en servicio; las pruebas en condiciones reales no están cubiertas por esa exclusión (artículo 2, apartado 8). No se aplica a las obligaciones de los responsables del despliegue que sean personas físicas que utilicen sistemas de IA en el ejercicio de una actividad puramente personal de carácter no profesional (artículo 2, apartado 10). Los sistemas de IA publicados con arreglo a licencias libres y de código abierto quedan fuera del Reglamento, salvo que se introduzcan en el mercado o se pongan en servicio como sistemas de IA de alto riesgo, o entren en el ámbito de aplicación del artículo 5 o del artículo 50 (artículo 2, apartado 12).

• Sin contenido específico para la educación en las instrucciones

  El artículo 13, apartado 3, es la misma lista para todos los sectores. El Reglamento no dice qué grupos de estudiantes debe abarcar la información sobre el funcionamiento; dice «cuando proceda» (artículo 13, apartado 3, letra b), inciso v)). El Reglamento no menciona por sí mismo ninguna norma. Se presume que los sistemas de alto riesgo conformes con normas armonizadas publicadas en el Diario Oficial son conformes con los requisitos de la sección 2, en la medida en que esas normas los contemplen (artículo 40, apartado 1). La Comisión elabora directrices sobre la aplicación de los artículos 8 a 15, 25 y 26 (artículo 96, apartado 1, letra a)).

• Ejemplo: la finalidad prevista en las instrucciones

  Ejemplo, no exigido por el Reglamento: en un sistema que ayuda al personal a clasificar solicitudes, las instrucciones podrían indicar en la finalidad prevista para qué debe usarse el resultado de salida, de modo que el responsable del despliegue pueda utilizarlo adecuadamente (artículo 13, apartado 3, letra b), inciso i)).

• Ejemplo: circunstancias conocidas en el seguimiento de exámenes

  Ejemplo, no exigido por el Reglamento: en un sistema que detecta comportamientos prohibidos durante los exámenes, las instrucciones podrían nombrar circunstancias conocidas que pueden afectar a la precisión, como las condiciones en las que se probó y validó (artículo 13, apartado 3, letra b), inciso ii)).

• Artículo 13 reglamento IA: transparencia e instrucciones de uso

  El artículo 13 para todos los sectores: requisitos, fechas y multas.

• Reglamento IA edtech: cumplimiento en educación

  El resumen de la educación: cómo alcanza el Reglamento a la IA de admisión, de evaluación, de nivel de educación y de seguimiento de exámenes.

• Artículo 14 para la IA educativa: supervisión humana

  IA educativa y artículo 14: supervisión humana por diseño.

• Artículo 26: obligaciones del responsable del despliegue de IA de alto riesgo

  Qué deben hacer los responsables del despliegue de sistemas de IA de alto riesgo, incluida la información a las personas afectadas.