Em uma era dominada pelo fluxo constante de dados e avanços tecnológicos, os algoritmos e sistemas de aprendizado de máquina moldam cada vez mais as nossas interações, decisões e percepções. Ainda assim, nem sempre esses sistemas refletem a pluralidade e diversidade da sociedade. Durante o ZTalks Summer Edition 2023, o professor Valdinei Freire da Universidade de São Paulo (USP), coordenador do comitê de Diversidade e Inclusão no C4AI (Centro de Inteligência Artificial na USP), trouxe uma palestra enriquecedora sobre essa temática. Tomando essa palestra como inspiração, neste artigo a gente busca explorar e expandir as reflexões sobre o racismo algorítmico em aprendizado de máquina, bem como discutir possíveis caminhos para enfrentar esse problema.

Quando consideramos algoritmos de Inteligência Artificial, percebe-se que enquanto eles vêm sendo desenvolvidos desde o século passado, as discussões e iniciativas centradas em questões éticas, sociais e de equidade na criação de sistemas inteligentes são temas relativamente recentes. Apesar do viés algorítmico não ser um conceito novo, o foco sempre esteve nos avanços no que diz respeito à capacidade, qualidade e performance dos sistemas inteligentes, então não é uma surpresa os casos existentes de softwares produzindo e reproduzindo um viés racial. 

Ainda que de fato exista uma literatura voltada a lidar com discriminações e enviesamento na área de Inteligência Artificial, o quanto isso se traduz de fato em técnicas sendo aplicadas em sistemas reais, isso é uma incógnita. O que se nota é que tecnologias recentes ainda apresentam diferentes tipos de discriminações, incluindo a discriminação racial. O DALL-E, um programa que usa IA para criar imagens a partir de descrições textuais, demonstrou uma tendência em criar imagens que reforçam esses estereótipos de raça¹. O ChatGPT², uma inteligência artificial de conversação capaz de gerar textos, também já demonstrou ser capaz de gerar textos de cunho racista. Esses são somente alguns exemplos de sistemas criados nos últimos anos, enquanto a problemática do racismo permeia nossa sociedade a séculos.

O AI Index de 2023³, um relatório produzido pela Universidade de Stanford em conjunto com experts da indústria e academia para analisar o estado atual da Inteligência Artificial, traz constatações pertinentes em relação aos aspectos éticos das IAs. De acordo com o relatório, o número de incidentes e controvérsias envolvendo IAs aumentou 26 vezes desde 2012, incluindo casos de discriminação racial. Como exemplo, o relatório menciona um caso onde um sistema de reconhecimento de fala utilizado em presídios dos Estados Unidos tem um desempenho pior ao tentar reconhecer a voz de pessoas negras, ao tempo em que elas representam uma grande parte da população carcerária. Diante disso, uma importante observação desse relatório que pode nos ajudar a entender o problema de discriminação nas soluções atuais é de que as métricas criadas para quantificar o quão um sistema é justo ainda são falhas. De acordo com o relatório, existem casos onde apesar das métricas indicarem que o sistema é justo, é possível verificar que na verdade ele ainda é enviesado.

Percebe-se que esse é um problema que afeta softwares construídos com diferentes modalidades de dados, como imagens, textos, som etc. Na chamada Visão Computacional, uma área da IA que possibilita com que os computadores “enxerguem” e compreendam imagens, é notório que sistemas atuais não sejam capazes de identificar corretamente pessoas com tons de pele mais escuros. É pensando em construir sistemas de visão computacional mais inclusivos, que o professor de Harvard Ellis Monk desenvolveu a Monk Skin Tone (MST) Scale⁴, uma escala inclusiva de 10-tons de cores que permite com que sistemas sejam construídos buscando contemplar toda a diversidade que a escala traz.

No contexto de sistemas inteligentes que atuam com a linguagem humana, a exemplo de modelos de linguagem, ser capaz de inibir a geração de conteúdo nocivo de cunho racial, gênero ou cultural ainda é um desafio atual. É nesse contexto que ao final de 2022 surgiu o conceito de IA Constitucional, criado para que seja possível controlar de forma mais precisa o conteúdo gerado por assistentes de linguagem para evitar conteúdo nocivo à sociedade, incluindo material nocivo de cunho racial.

Seguindo uma linha diferente, tivemos em 2021 a criação do protótipo de pesquisa Delphi⁵ visando ensinar conceitos de moralidade às máquinas, a partir de um modelo criado para modelar julgamentos morais em várias situações do mundo real. O Delphi pode ser visto como um exercício para elucidar as limitações existentes em fazer máquinas se comportarem de forma mais inclusiva, eticamente informadas e socialmente conscientes. Apesar do sistema eticamente informado reduzir consideravelmente comportamentos tendenciosos e injustos, o protótipo ainda se mostrou suscetível a vieses e inconsistências, o que mostra que ainda há muito que se evoluir.

Diante do problema de que sistemas inteligentes são concebidos a partir de dados do mundo real e esses dados são inerentemente constituidos de viéses, uma das formas de lidar com discriminação é atuar de forma preemptiva em cima dos dados. Nesse contexto, é possível traçar um paralelo com uma das áreas de pesquisa emergentes em IA, denominada Data-Centric AI, que estuda técnicas para melhorar a qualidade de dados, trazendo o foco que por muito tempo esteve na modelagem e código, para os dados em si. Considerando que os dados são uma das primeiras fontes de vieses, existe uma oportunidade em alinhar objetivos de justiça e equidade no desenvolvimento de técnicas centradas em dados.

Construir sistemas justos e apoiados em premissa de justiça e equidade é um dos pontos principais que envolvem a prática de IA Responsável. Para construir sistemas mais inclusivos, é necessária uma abordagem intencional em todas as fases do desenvolvimento. Isso inclui coleta de dados representativos para treinamento e avaliação, usar métricas adequadas de avaliação, e criar recursos acessíveis a todos os usuários. É essencial considerar a diversidade das pessoas para evitar exclusão ou discriminação. 

Tendo em vista o impacto crescente que esses sistemas têm sobre a sociedade, é fato que existe um longo caminho pela frente em busca de equidade em softwares. Para que esse cenário mude, é preciso que a preocupação com a redução do viés racista e outros tipos de discriminação esteja no mesmo patamar do nível de atenção dado a redução de erros gerados pelo sistema.  Enquanto houver sinais de discriminação, é necessário continuarmos a desenvolver e otimizar técnicas  capazes de lidar com todas as nuances e as dinâmicas sociais de forma a mitigar todas as fontes de discriminação.