O projeto Transparência Algorítmica, da Transparência Brasil, disponibiliza uma estrutura para avaliação dos riscos que ferramentas de Inteligência Artificial (IA) usadas pelo poder público podem representar a direitos fundamentais. O manual se soma aos outros resultados da iniciativa: o catálogo de ferramentas de Inteligência Artificial usadas no setor público federal e as recomendações de governança para o uso delas.
O documento indica quatro eixos de avaliação de riscos a serem aplicados antes da adoção definitiva de uma ferramenta de IA: aqueles ligados à natureza da ferramenta, os que envolvem discriminação algorítmica, os que comprometem a privacidade e os que abrem espaço para abusos autoritários. Recomenda, ainda, que seja feita uma avaliação de transparência da ferramenta.
Dependendo do que o programa é desenhado para entregar como resultado (a natureza da ferramenta), o impacto negativo sobre direitos fundamentais pode ser alto, médio ou baixo. Juliana Sakai, diretora de operações da Transparência Brasil, explica: “problemas em algoritmos que automatizam a triagem de documentos, por exemplo, prejudicariam apenas a agilidade do procedimento. Problemas em um algoritmo usado para calcular a chance de reincidência criminal de um indivíduo, por sua vez, têm impactos em sentenças condenatórias e na liberdade de indivíduos”.
Para avaliar este tipo de impacto, indicam-se 12 perguntas mínimas que abordam desde a presença de revisão por humanos no fluxo de uso da ferramenta até o processo de aprendizagem do programa.
A discriminação algorítmica, por sua vez, deve ser avaliada a partir de sete questões. O propósito é verificar se o programa acentuará diferenças sociais e a opressão a grupos marginalizados. “Algoritmos de reconhecimento facial treinados com uma base de dados composta, em sua maioria, com rostos de pessoas brancas, terá menor precisão em reconhecer rostos fora de tal padrão, como rostos de pessoas negras”, exemplifica Sakai.
O risco à privacidade e de uso das tecnologias para abusos autoritários está ligado ao fato de que o uso de tecnologias de IA geralmente envolve o processamento de grandes quantidades de dados, inclusive biométricos, que podem se tornar ferramentas de vigilância. A avaliação indicada pelo documento da Transparência Brasil passa pela verificação da existência de camadas de proteção de dados pessoais e da obediência a diretrizes da Lei Geral de Proteção de Dados (LGPD).
Cidadãos precisam saber detalhes sobre as ferramentas para defender direitos
Os órgãos públicos devem garantir acesso a informações sobre o desenvolvimento e o uso de suas tecnologias de IA, de acordo com o documento. Antes de colocá-las em uso, recomenda-se dar acesso a relatórios de impacto e ao algoritmo desenvolvido. Depois de colocá-las em uso, recomenda-se a publicação de relatórios periódicos sobre o impacto da ferramenta e atualizações. A ausência de informações para responder aos quatro eixos de avaliação risco a direitos também configuram falta de transparência para controle social no uso de IA.
“É fundamental que haja transparência no uso de IA pelo Estado”, diz Sakai. “Só assim é possível fazer a avaliação de riscos e a defesa de direitos e do espaço cívico”.
Acesse a estrutura de avaliação de riscos pelo uso de Inteligência Artificial por órgãos públicos