O Superior Tribunal de Justiça possuía, em 2020, um sistema de análise automatizada sobre cada recurso enviado à Corte. O algoritmo consultava as decisões anteriores do processo, fontes normativas e precedentes jurídicos e recomendava uma decisão para o caso, deixando a palavra final para o ministro.

Uma ferramenta desse tipo representa um risco à violação de direitos por sua natureza, uma vez que o algoritmo aprende a partir de decisões anteriores e pode reproduzir preconceitos – principalmente em casos de grupos historicamente vulnerabilizados. Se o algoritmo errar em sua recomendação sobre um recurso, um cidadão pode receber uma decisão judicial mal fundamentada e enviesada. 

Essa e outras 43 ferramentas foram identificadas no levantamento pioneiro do Transparência Algorítmica, projeto da Transparência Brasil que mapeou as tecnologias em uso pelo poder público em 2020. Antes do hype da IA, a iniciativa buscou identificar para quê os sistemas eram contratados no setor público e seus possíveis riscos à privacidade, direitos e liberdades civis. 

A ideia veio após a diretora executiva da TB, Juliana Sakai, à época diretora de operações, participar de uma imersão de machine learning, a Tech Camp for Civic Defenders, da Universidade de Stanford, nos Estados Unidos. O Transparência Algorítmica foi um dos cinco selecionados para um financiamento semente do International Center of Not-for-Profit Law, oferecido aos participantes da imersão. 

Ela complementa que, à época, as discussões sobre transparência algorítmica estavam centradas sobre as big techs.

Para ampliar o escopo do mapeamento, a TB firmou uma parceria com a Controladoria-Geral da União (CGU), o Ministério da Ciência, Tecnologia e Inovação e com o Centro de Estudos sobre Tecnologias Web (Ceweb.br) do NIC.br. Um questionário, solicitando informações sobre a utilização de tecnologias de IA, foi elaborado em conjunto, sob a coordenação da pesquisadora Tamara Burg, e enviado pela CGU aos 319 órgãos do Executivo federal sob sua alçada. Mais de 200 respostas foram obtidas.

Os mesmos questionários foram enviados via Lei de Acesso a Informação aos órgãos do Legislativo e Judiciário a nível federal e ao Tribunal de Contas da União (TCU). Além disso, com apoio da Northwestern University, que realizava um trabalho semelhante nos Estados Unidos, a iniciativa desenvolveu um algoritmo de busca automatizada nos portais oficiais do governo federal por menções ao uso de sistemas de IA. Assim, além de identificar as tecnologias em uso, foi criado um modelo para a sociedade civil monitorar novas IAs contratadas ou desenvolvidas.

As 44 ferramentas mapeadas, que incluíam chatbots, detectores de fraude bancária e sistemas de classificação de documentos, variavam no tipo de uso e público-alvo. A maior parte delas (20) era direcionada aos próprios agentes governamentais e tinha função de apoio na tomada de uma decisão ou ação. São essas que mais causam preocupação na sociedade civil, pois impactam a vida das pessoas e, de forma direta ou indireta, o exercício de direitos fundamentais.

A ferramenta Bem-te-vi, por exemplo, era usada pelo Tribunal Superior do Trabalho para classificação de processos e previsões sobre a tramitação do processo nos gabinetes – uma tomada de decisão automatizada que pode afetar o exercício do direito fundamental de acesso à Justiça e ao devido processo legal.

O processo de identificação dos possíveis riscos desses sistemas contou com a colaboração de 12 organizações especialistas em áreas diversas, a fim de que a avaliação abordasse os impactos sobre grupos distintos, como crianças e adolescentes, pessoas pretas e consumidores. As diferentes expertises qualificaram e ampliaram o trabalho do Transparência Algorítmica e, pelo ineditismo da iniciativa, as entidades demonstraram grande disponibilidade em colaborar, afirma a diretora de programas da TB, Marina Atoji, à época coordenadora de projetos. 

“Foi importante trazer os olhares não só de especialistas em tecnologia, mas também de grupos cujos direitos são notadamente mais vulnerabilizados frente ao uso de IA pelo poder público, como pessoas pretas, além de grupos atuantes em áreas como direito do consumidor e defesa de direitos humanos”, pontua Atoji.

O principal risco apontado na análise das ferramentas diz respeito justamente ao banco de dados de treinamento e critérios a serem utilizados pelos modelos preditivos e de classificação automatizados. Tais condicionantes dadas pelos órgãos governamentais aos algoritmos podem levar à reprodução de uma discriminação social já pré-existente.

Segundo a diretora executiva da TB, faltava transparência sobre o funcionamento dos algoritmos e das bases utilizadas para seu treinamento, o que limita o controle social para minimizar riscos de violações a direitos. “Mesmo que não existam ameaças a direitos fundamentais, a sociedade deve poder avaliar se há ganho ou prejuízo no uso de determinada IA pelo poder público, já que a maioria dos sistemas identificados impactava a vida das pessoas”, diz Sakai. 

Diante do diagnóstico, a TB elaborou uma estrutura de avaliação multissetorial do uso de IA pelo Estado. Ela funciona como um guia para os órgãos públicos de fiscalização e organizações da sociedade civil identificarem potenciais ameaças a direitos e ao controle social, e, a partir disso, elaborar recomendações, exigir publicização de informações, correções ou testes e até a eventual descontinuidade de alguma ferramenta.

O modelo contempla quatro dimensões: riscos a direitos pela natureza da ferramenta; riscos a direitos por discriminação algorítmica; riscos ao direito à privacidade; e potencial abuso autoritário do espaço cívico. Também inclui uma avaliação acerca do nível de transparência dado a todo o processo de utilização da ferramenta. 

Em 2021, o framework serviu de referência ao TCU no desenvolvimento de metodologia para auditorias de sistemas de IA na administração pública federal. O relatório da Corte destaca que o mapeamento do Transparência Algorítmica é o primeiro do tipo e compreende, em sua própria avaliação, as recomendações da iniciativa, demonstrando o ineditismo e impacto do trabalho da TB.

O imbróglio da regulação de IA

O mapeamento do Transparência Algorítmica indicava um uso generalizado de ferramentas em atividades de segurança pública, sendo que esses sistemas  apresentam os maiores riscos, “com consequências sabidamente graves como a privação da liberdade de um indivíduo ou mesmo ameaça à vida”. 

O crescimento da adoção de tecnologias para esses fins e seus graves impactos à sociedade civil já mostravam a urgência de uma regulação de IA no Brasil. A falta de parâmetros legais deixa em aberto uma lacuna jurídica, regulatória e ética, com as más consequências que o uso dessas tecnologias sem governança pode trazer.

Tais preocupações contribuíram para que a TB investigasse a IA na segurança pública em 2024. Por meio do projeto Vigilância e Tecnologia, a organização constatou que, na maioria das vezes, órgãos de segurança pública contratam ferramentas de gestão de dados e monitoramento de atividades online sem observar dispositivos claros para a proteção de dados pessoais e não aplicam a Lei Geral de Proteção de Dados. 

Segundo a diretora Marina Atoji, o cenário pouco mudou desde o diagnóstico do Transparência Algorítmica. “Ainda se observa baixa dedicação à produção de relatórios de impacto sobre direitos, especialmente no uso de IA em segurança pública, e pouca transparência aos cidadãos sobre se e como a tecnologia é usada no atendimento e mesmo na triagem para acesso a serviços públicos”, afirma.

Mas as primeiras discussões legislativas sobre uma regulação de IA vieram apenas em 2023, com o Projeto de Lei 2.338/2023, e se arrastam até hoje, com intenso lobby das big techs. A TB acompanha o debate desde o seu início, inclusive com incidência no Legislativo federal, buscando que a regulação preze pela transparência e proteção de direitos – premissas trazidas da iniciativa pioneira sobre IA no poder público.