Inteligência artificial pode perpetuar o racismo, diz diretora da DataSphere

A inteligência artificial pode perpetuar o racismo existente, reforçar a opressão sistêmica e o sexismo, e prejudicar as comunidades marginalizadas, segundo a diretora do DataSphere, Carol Rossini. A avaliação foi feita em evento sobre A Construção do Marco Regulatório da Inteligência Artificial no Brasil, promovido pelo Conselho da Justiça Federal nesta segunda-feira (17/4). Rossini foi uma das palestrantes no debate sobre Discriminação Algorítmica, que foi moderado pelo ministro Ribeiro Dantas, do Superior Tribunal de Justiça (STJ).

''Nos Estados Unidos, estudos comprovam que as comunidades marginalizadas ou menores, como os afro-americanos, componentes de 13% da população do país, são moderados de uma forma muito mais opressiva do que os brancos nos EUA'', disse.

Por isso, ela supõe considerar essencial a governança de dados. Além disso, a diretora do DataSphere também esclareceu que a IA é treinada com base nos dados históricos, que podem conter preconceitos e estereótipos. Segundo ela, se esses dados forem usados para treinar os modelos de inteligência artificial, esses modelos podem, de fato, perpetuar o racismo, tomando decisões discriminatórias.

''Então, quando a gente pensa em regulação, é preciso pensar no processo inteiro, porque, no final das contas, o resultado é simplesmente um espelho desse processo e das camadas que o controlam'', afirmou. Rossini acredita que um dos principais desafios nesse processo é o de garantir que os dados de treinamento sejam representativos da população em geral e não contenham preconceitos ou estereótipos. Além dos dados, ela considera fundamental que os desenvolvedores também sejam representativos da sociedade brasileira em geral.

Além de Rossini, também participaram deste painel Mariana Valente, professora da Universidade de St. Gallen e diretora do InternetLab e membra da CJSUBIA; Nina da Hora, do Centro de Tecnologia e Sociedade da FGV, e Tarcízio Silva, fellow da Mozilla Foundation.

Regulação

Para Mariana Valente, é preciso frisar a discussão sobre discriminação algorítmica no Brasil em um contexto de extrema desigualdade de classe, raça e gênero, especialmente diante de casos de discriminação documentados no país, apesar de os casos no exterior ganharem mais destaque.

''Temos casos de prisões injustas a partir do reconhecimento facial, casos de discriminação de moderação de conteúdos nas redes sociais, situações envolvendo o uso de tecnologias como o ChatGPT'', comentou.

Na opinião dela, esse é um problema do presente em uma sociedade que padece de desigualdades tão radicais e que, neste contexto, pensar na regulação da IA exige mecanismos afetivos para prevenir, mitigar e reparar a discriminação algorítmicas, e que devem ser prioritários na discussão.

''Abordar esse problema não se esgota com um Projeto de Lei de Regulamentação de IA que olhe somente para questões de governança, é fundamental que existam mecanismos concretos que vão para além de princípios, dada a gravidade do problema e ameaça aos direitos'', finalizou.

Nina da Hora, do CTS da FGV, acredita que lidar com ferramentas que não são desenvolvidas no contexto brasileiro faz muita diferença. ''Não só os resultados são diferentes, como o processo de aprendizagem também é totalmente diferente. Devemos levar em consideração que é quase ficar muito restrito ao que seria ideal, ao invés de lidarmos, de fato, com a realidade do Brasil'', complementou.

Já para Tarcízio Silva, fellow da Mozilla Foundation, a complexidade da inteligência artificial é social e multidimensional, mas esse não é propriamente o principal motivo para sua regulação. ''Pelo contrário, precisamos ver todos os impactos no presente e passado, além dos impactos especulativos'', afirmou.

Segundo ele, a discriminação algorítmica não é uma somente uma questão de diversidade em quem desenvolve, mas também inclui esta problemática. Sendo assim, Silva acredita que as lacunas de representação demográfica devem ser analisadas nos diferentes setores com a participação da sociedade civil. ''Políticas afirmativas podem ser utilizadas como tática de fomento do Estado na relação com o setor privado e com as universidades, por exemplo'', encerrou.