Artigo 10.º para a IA fintech: dados e governação de dados
Como o artigo 10.º (dados e governação de dados) se aplica à IA de classificação de crédito e de seguros: as ligações ao anexo III, o exame de enviesamentos, as categorias especiais de dados nos termos do artigo 4.º-A, datas, coimas e o que o regulamento deixa em aberto.
Os fornecedores de sistemas de IA de classificação de crédito e de seguros de vida ou de saúde devem desenvolvê-los com conjuntos de dados que cumpram os critérios de qualidade do artigo 10.º.
São usos de risco elevado nos termos do anexo III, ponto 5, alínea b), e ponto 5, alínea c); a deteção de fraude está excluída do ponto 5, alínea b). Aplica-se a partir de 2 de dezembro de 2027, salvo a exceção do artigo 6.º, n.º 3. As coimas podem chegar a 15 milhões de EUR ou, no caso de uma empresa, a 3 % do volume de negócios anual mundial, consoante o que for mais elevado (artigo 99.º, n.º 4). Próximo passo: registe de onde provêm os seus dados e como os examina para detetar enviesamentos (artigo 10.º, n.º 2).
O artigo 10.º fixa critérios de qualidade dos dados, não volumes de dados
O artigo 10.º estabelece obrigações para o fornecedor. Não indica nenhum volume de dados, nenhum valor de exatidão nem nenhum prazo de conservação.
- art. 10(1), (6)Conjuntos de dados que cumprem os critérios de qualidade
Os sistemas de IA de risco elevado que treinam modelos de IA com dados devem ser desenvolvidos com base em conjuntos de dados de treino, validação e teste. Esses conjuntos de dados têm de cumprir os critérios de qualidade dos n.os 2, 3 e 4 e do artigo 4.º-A, n.º 1, sempre que sejam utilizados. Para os sistemas que não treinam modelos, estas disposições aplicam-se apenas aos conjuntos de dados de teste.
- art. 10(2)Práticas de governação e gestão de dados
Os conjuntos de dados devem estar sujeitos a práticas de governação e gestão de dados adequadas à finalidade prevista. Essas práticas dizem respeito, nomeadamente, às escolhas de conceção, aos processos de recolha de dados e à origem dos dados e, no caso dos dados pessoais, à finalidade original da recolha. Dizem também respeito às operações de preparação dos dados, como anotação, rotulagem, limpeza, atualização, enriquecimento e agregação. Dizem respeito à formulação dos pressupostos sobre o que os dados devem medir e representar. E dizem respeito à avaliação da disponibilidade, da quantidade e da adequação dos conjuntos de dados necessários, bem como às lacunas ou deficiências dos dados e às formas de as resolver.
- art. 10(2)(f), (g)Examinar os enviesamentos e depois detetá-los, preveni-los e atenuá-los
As práticas devem incluir um exame para detetar eventuais enviesamentos (alínea f)). O exame abrange os enviesamentos suscetíveis de afetar a saúde e a segurança das pessoas, de ter repercussões negativas nos direitos fundamentais ou de resultar em discriminações proibidas pelo direito da União, especialmente quando os resultados obtidos a partir dos dados influenciam os dados de entrada para operações futuras. As práticas devem incluir também medidas adequadas para detetar, prevenir e atenuar os enviesamentos identificados (alínea g)).
- art. 10(3)Pertinentes, representativos e, tanto quanto possível, isentos de erros
Os conjuntos de dados devem ser pertinentes, suficientemente representativos e, tanto quanto possível, isentos de erros e completos, tendo em conta a finalidade prevista. Devem ter as propriedades estatísticas adequadas, nomeadamente, quando aplicável, no tocante às pessoas ou grupos de pessoas em relação às quais se destina a utilização do sistema. Essas características podem ser satisfeitas a nível de conjuntos de dados individuais ou de uma combinação dos mesmos.
- art. 10(4)Adequados ao enquadramento de utilização
Os conjuntos de dados devem ter em conta as características ou os elementos idiossincráticos do enquadramento geográfico, contextual, comportamental ou funcional específico em que o sistema se destina a ser utilizado. Aplica-se na medida do necessário para a finalidade prevista.
Que IA fintech tem de cumprir o artigo 10.º
O artigo 10.º aplica-se apenas aos sistemas de IA de risco elevado. As linhas abaixo mostram onde a IA fintech passa a ser de risco elevado.
A fintech não é uma categoria do regulamento
O regulamento não tem uma categoria «fintech». Este sítio usa a palavra para a IA que entra no regulamento por dois usos do anexo III, ponto 5. O ponto 5, alínea b), abrange os sistemas de IA concebidos para serem utilizados para avaliar a capacidade de solvabilidade de pessoas singulares ou estabelecer a sua classificação de crédito. Exclui os sistemas de IA utilizados para efeitos de deteção de fraude financeira. O ponto 5, alínea c), abrange os sistemas de IA concebidos para serem utilizados nas avaliações de risco e na fixação de preços em relação a pessoas singulares no caso de seguros de vida e de saúde. O ponto 5 não nomeia a deteção de fraude, o branqueamento de capitais nem o conhecimento do cliente, a negociação algorítmica, o aconselhamento automatizado, os seguros não vida, a regularização de sinistros nem as decisões de crédito sobre pessoas coletivas. Um sistema destinado a um destes usos só é de risco elevado se outro ponto do anexo III ou o anexo I o abranger.
O artigo 6.º, n.º 3, pode retirar um sistema do anexo III
Um sistema abrangido pelo ponto 5, alínea b), ou pelo ponto 5, alínea c), é de risco elevado nos termos do artigo 6.º, n.º 2. Nos termos do artigo 6.º, n.º 3, não é de risco elevado se não representar um risco significativo de danos para a saúde, a segurança ou os direitos fundamentais. Isso inclui não influenciar de forma significativa o resultado da tomada de decisões. O regulamento aplica esta exceção quando estiver preenchida qualquer das seguintes condições (artigo 6.º, n.º 3, alíneas a) a d)). O sistema destina-se a desempenhar uma tarefa processual restrita. Ou destina-se a melhorar o resultado de uma atividade humana previamente concluída. Ou destina-se a detetar padrões de tomada de decisões ou desvios em relação a padrões de tomada de decisões anteriores e não se destina a substituir nem influenciar uma avaliação humana previamente concluída, sem que se proceda a uma verificação adequada por um ser humano. Ou destina-se a executar uma tarefa preparatória no contexto de uma avaliação pertinente para os casos de utilização enumerados no anexo III. Saber como estas condições se combinam com o critério do risco significativo é uma questão para um jurista. O sistema é sempre de risco elevado se executar a definição de perfis de pessoas singulares. A definição de perfis consta do artigo 4.º, ponto 4), do RGPD (artigo 3.º, ponto 52). Saber se um determinado sistema de classificação de crédito ou de fixação de preços a executa é também uma questão para um jurista. O fornecedor que invoque a exceção documenta a sua avaliação antes de o sistema ser colocado no mercado ou colocado em serviço. Tem também de registar o sistema (artigo 6.º, n.º 4, artigo 49.º, n.º 2).
Fornecedor e responsável pela implantação
O fornecedor («prestador» no regulamento) desenvolve um sistema de IA, ou manda desenvolvê-lo, e coloca-o no mercado ou em serviço sob o seu próprio nome ou a sua própria marca (artigo 3.º, ponto 3). A colocação em serviço inclui o fornecimento para utilização própria do fornecedor (artigo 3.º, ponto 11). Um banco ou uma seguradora que desenvolve um sistema e o coloca em serviço sob o seu próprio nome é, por isso, fornecedor. Um banco ou uma seguradora que utiliza um sistema sob a sua autoridade é um responsável pela implantação (artigo 3.º, ponto 4). O responsável pela implantação passa a ser fornecedor em três casos. Apõe o seu nome ou marca num sistema de risco elevado já colocado no mercado, sem prejuízo de disposições contratuais que estipulem uma atribuição diferente das obrigações. Faz uma modificação substancial desse sistema que o mantém de risco elevado. Ou altera a finalidade prevista de um sistema que não era de risco elevado, de modo a que passe a sê-lo (artigo 25.º, n.º 1). O fornecedor que inicialmente colocou o sistema no mercado ou em serviço deixa então de ser considerado o fornecedor desse sistema específico e deve cooperar estreitamente com o novo fornecedor (artigo 25.º, n.º 2). Isto não se aplica se o fornecedor inicial tiver especificado claramente que o seu sistema não deve ser transformado num sistema de IA de risco elevado.
Categorias especiais de dados pessoais: artigo 4.º-A
Para além do RGPD e das outras regras de proteção de dados aplicáveis, os fornecedores de sistemas de IA de risco elevado podem, excecionalmente, tratar categorias especiais de dados pessoais. Isto é permitido na medida do estritamente necessário para a deteção e a correção de enviesamentos nos termos do artigo 10.º, n.º 2, alíneas f) e g). Têm de ser cumpridas todas as condições do artigo 4.º-A, n.º 1, alíneas a) a f). Entre elas, que a deteção e a correção de enviesamentos não possam ser eficazmente efetuadas através do tratamento de outros dados, nomeadamente dados sintéticos ou anonimizados. Entre elas está também que os dados sejam eliminados assim que o enviesamento tenha sido corrigido ou que o período de conservação termine, consoante o que ocorrer primeiro. O artigo 4.º-A, n.º 2, dá a mesma permissão, nas mesmas condições, aos fornecedores e responsáveis pela implantação de outros sistemas de IA e aos responsáveis pela implantação de sistemas de risco elevado. Não cria nenhuma obrigação de realizar a deteção e a correção de enviesamentos.
Datas
Os requisitos para estes usos do anexo III aplicam-se a partir de 2 de dezembro de 2027 (artigo 113.º, terceiro parágrafo, alínea c), subalínea i)). Um sistema colocado no mercado ou colocado em serviço antes dessa data só fica abrangido se, depois, a sua conceção sofrer alterações significativas. Em qualquer caso, os fornecedores e os responsáveis pela implantação de sistemas de IA de risco elevado destinados a ser utilizados por autoridades públicas devem tomar as medidas necessárias para cumprir até 2 de agosto de 2030 (artigo 111.º, n.º 2).
Coimas
Os fornecedores devem assegurar que os seus sistemas de risco elevado cumprem os requisitos da secção 2 do capítulo III, que inclui os artigos 9.º a 15.º (artigo 16.º, alínea a)). O incumprimento das obrigações dos fornecedores previstas no artigo 16.º ou das obrigações dos responsáveis pela implantação previstas no artigo 26.º pode ser punido com coima. A coima pode ir até 15 milhões de EUR ou, no caso de uma empresa, até 3 % do seu volume de negócios mundial total anual do exercício anterior, consoante o que for mais elevado (artigo 99.º, n.º 4, alíneas a) e e)). Para as PME, incluindo as empresas em fase de arranque, cada coima fica limitada ao montante mais baixo dos dois (artigo 99.º, n.º 6). O mesmo limite aplica-se às pequenas empresas de média capitalização (artigo 3.º, ponto 14-B, artigo 99.º, n.º 6-A). Cada Estado-Membro define regras que permitam determinar em que medida podem ser aplicadas coimas às autoridades e organismos públicos estabelecidos nesse Estado-Membro (artigo 99.º, n.º 8).
Âmbito e limites do regulamento
O regulamento aplica-se aos fornecedores e responsáveis pela implantação que tenham o seu local de estabelecimento ou estejam localizados num país terceiro, se o resultado produzido pelo sistema de IA for utilizado na União (artigo 2.º, n.º 1, alínea c)). Não se aplica a domínios não abrangidos pelo âmbito de aplicação do direito da União nem afeta as competências dos Estados-Membros em matéria de segurança nacional (artigo 2.º, n.º 3). O regulamento não se aplica aos sistemas ou modelos de IA, incluindo os respetivos resultados, especificamente desenvolvidos e colocados em serviço exclusivamente para fins de investigação e desenvolvimento científicos (artigo 2.º, n.º 6). Também não se aplica às atividades de investigação, testagem ou desenvolvimento antes de um sistema ser colocado no mercado ou colocado em serviço. A testagem em condições reais não é abrangida por essa exclusão (artigo 2.º, n.º 8). Os sistemas de IA lançados ao abrigo de licenças gratuitas e de código aberto ficam fora do regulamento. Essa exclusão não se aplica se forem colocados no mercado ou colocados em serviço como sistemas de IA de risco elevado, ou se se enquadrarem nos artigos 5.º ou 50.º (artigo 2.º, n.º 12).
O que o regulamento deixa em aberto para a fintech
Nenhuma norma de dados própria da fintech
O artigo 10.º não nomeia nenhum volume mínimo de dados, nenhuma medida de representatividade, nenhum parâmetro de enviesamento nem nenhuma fonte de dados aceite para o crédito ou os seguros. O fornecedor decide o que é adequado à finalidade prevista (artigo 10.º, n.º 2). O regulamento não nomeia nenhuma norma harmonizada. Presume-se que os sistemas de risco elevado conformes com normas harmonizadas publicadas no Jornal Oficial da União Europeia são conformes com os requisitos da secção 2, desde que essas normas os abranjam (artigo 40.º, n.º 1). Presume-se que os sistemas treinados e testados com dados que refletem o cenário geográfico, comportamental, contextual ou funcional específico da utilização prevista são conformes com o artigo 10.º, n.º 4 (artigo 42.º, n.º 1). A Comissão deve elaborar orientações sobre a aplicação prática dos requisitos e obrigações dos artigos 8.º a 15.º, 25.º e 26.º (artigo 96.º, n.º 1, alínea a)).
Exemplo: exame de enviesamentos na classificação de crédito
Exemplo, não um requisito do regulamento: o fornecedor de um sistema de classificação de crédito poderia comparar as taxas de aprovação e de erro entre grupos de requerentes no conjunto de dados. Poderia documentar que grupos os dados sub-representam.
Exemplo: decisões históricas como rótulos de treino
Exemplo, não um requisito do regulamento: um modelo pode ser treinado com decisões passadas de concessão de crédito ou de subscrição de seguros. O fornecedor poderia examinar, antes do treino, se essas decisões contêm enviesamentos, uma vez que o artigo 10.º, n.º 2, alínea f), pede um exame para detetar eventuais enviesamentos.
Perguntas sobre o artigo 10.º na fintech
O artigo 10.º aplica-se a um modelo de deteção de fraude?
Só se for um sistema de IA de risco elevado. O anexo III, ponto 5, alínea b), exclui os sistemas de IA utilizados para efeitos de deteção de fraude financeira. Um modelo de fraude só fica, por isso, abrangido se outro ponto do anexo III ou o anexo I o tornar de risco elevado.
Pode um mutuante utilizar categorias especiais de dados pessoais para testar o seu modelo de crédito quanto a enviesamentos?
O fornecedor de um sistema de IA de risco elevado pode, excecionalmente, tratá-las na medida do estritamente necessário para a deteção e a correção de enviesamentos, se estiverem reunidas todas as condições do artigo 4.º-A, n.º 1. O artigo 4.º-A, n.º 2, dá a mesma permissão, nas mesmas condições, aos responsáveis pela implantação de sistemas de risco elevado. A última frase do artigo 4.º-A, n.º 2, indica que este número não cria qualquer obrigação de proceder a essa deteção e correção de enviesamentos. O RGPD continua a aplicar-se (artigo 2.º, n.º 7).
Quem tem de cumprir o artigo 10.º quando um banco compra uma ferramenta de classificação?
O fornecedor. O banco é um responsável pela implantação. Na medida em que exerça controlo sobre os dados de entrada, tem de assegurar que são pertinentes e suficientemente representativos tendo em vista a finalidade prevista (artigo 26.º, n.º 4). Um banco que passe a ser fornecedor nos termos do artigo 25.º, n.º 1, assume também o artigo 10.º.
Páginas relacionadas
Artigo 10.º: governação de dados para a IA de risco elevado
O artigo 10.º para todos os setores: requisitos, datas e coimas.
Regulamento de IA para fintech: guia
A visão geral da fintech: como o regulamento abrange a IA de classificação de crédito e de seguros.
Artigo 12.º para a IA fintech: manutenção de registos
IA fintech e artigo 12.º: registo automático e quem conserva os registos.
AI Act vs RGPD: diferenças e sobreposições
Como se sobrepõem o regulamento da IA e o RGPD.
O Scanara prepara evidências a partir dos seus repositórios
O Scanara lê os seus repositórios GitHub ligados e executa análises baseadas em regras para padrões comuns de IA e de aprendizagem automática. Pode não detetar código fora do padrão. Em separado, gera rascunhos de documentação a partir de modelos e das suas respostas nas avaliações, como evidências para o seu trabalho de conformidade. A classificação é decidida por si.