Distorções de Dados e Viés

Viés em grandes modelos de linguagem (em inglês: bias in large language models) são desvios sistemáticos no funcionamento de grandes modelos de linguagem (LLM) que levam à geração de respostas que refletem a realidade de forma injusta ou imprecisa, reproduzindo e amplificando estereótipos existentes na sociedade. Diferente de erros aleatórios, o viés tem um caráter sistemático e é causado pelas características dos dados de treinamento e dos algoritmos. Os LLMs podem reproduzir estereótipos de gênero, étnicos e outros, o que representa um problema sério, especialmente em áreas críticas como medicina, direito e finanças.

Fontes de Viés

O viés em LLMs surge de duas fontes principais: dados enviesados e as características dos próprios algoritmos.

Dados de Treinamento Enviesados

A principal causa do surgimento de viés são os dados de treinamento, que refletem distorções históricas, sociais e culturais existentes no mundo. Os LLMs são treinados em enormes corpus de textos da internet, livros e outras fontes criadas por humanos e, como consequência, herdam todos os estereótipos contidos neles.

• Representação Desbalanceada: Se certos grupos demográficos (por exemplo, minorias étnicas, mulheres em determinadas profissões) estiverem sub-representados nos dados, o modelo forma uma visão distorcida sobre eles. Por exemplo, os LLMs frequentemente associam a palavra «médico» ao gênero masculino e «enfermeira» ao feminino, reproduzindo estereótipos de gênero históricos.
• Vieses Históricos e Culturais: Os dados frequentemente refletem visões culturais dominantes e preconceitos históricos. Um modelo treinado com tais textos reproduzirá essas visões, ignorando perspectivas alternativas.

Amplificação Algorítmica

A arquitetura e o algoritmo de treinamento dos LLMs podem não apenas reproduzir, mas também amplificar os vieses existentes nos dados. A maioria dos LLMs modernos é baseada em transformers e prevê a próxima palavra com base em padrões estatísticos. Isso faz com que o modelo tenda aos padrões mais frequentes, o que consolida e reforça opiniões e estereótipos dominantes, enquanto casos raros e atípicos são ignorados. Esse mecanismo pode transformar um viés insignificante nos dados em um viés pronunciado nas respostas do modelo.

Tipos de Vieses e Exemplos

Vieses Sociais e Demográficos

Este é o tipo de viés mais estudado, que inclui estereótipos relacionados a gênero, raça, idade, religião e outras características sociais.

• Estereótipos de Gênero: LLMs frequentemente associam certas profissões e qualidades a um gênero específico. Por exemplo, a um pedido sobre um «líder forte», o modelo tem maior probabilidade de gerar a descrição de um homem.
• Estereótipos Raciais e Étnicos: Os modelos podem reproduzir estereótipos negativos sobre diferentes grupos étnicos. Estudos mostraram que algoritmos de moderação baseados em LLMs podem avaliar mais rigorosamente mensagens em Inglês Vernacular Afro-Americano (AAVE), considerando-as erroneamente mais ofensivas.
• Viés de Grupo ("nós contra eles"): Um estudo de 2024 mostrou que os LLMs exibem um forte viés de grupo. Ao receber um prompt que a associa a um grupo específico («Nós...»), o modelo tende a falar favoravelmente sobre esse grupo e de forma depreciativa sobre os «outros».

Vieses Estruturais e Cognitivos

Esses vieses estão relacionados às características da arquitetura e do processamento de informações.

• Viés Posicional: Uma pesquisa do Instituto de Tecnologia de Massachusetts (MIT) revelou que os modelos consideram desproporcionalmente as informações do início e do fim de um documento, frequentemente «perdendo» detalhes do meio. Isso pode afetar a precisão ao trabalhar com textos longos.
• Tendência à Média: Sendo modelos probabilísticos, os LLMs tendem a gerar as respostas mais frequentes (médias), o que leva à ignorância de fatos raros, mas importantes, exceções e opiniões de minorias.
• Viés de Confirmação: Os LLMs podem demonstrar uma tendência a reproduzir padrões lógicos presentes nos dados de treinamento, mesmo que contenham preconceitos, e a ignorar informações contraditórias.

Exemplo Prático

Um estudo do Banco Mundial revelou que, ao analisar entrevistas com refugiados, um LLM distorceu sistematicamente o significado de suas declarações dependendo de sua origem e gênero. O modelo interpretou incorretamente o desejo dos pais refugiados pelo sucesso de seus filhos, provavelmente devido à ausência de narrativas semelhantes nos dados de treinamento, compostos predominantemente por textos de «autores brancos de classe média».

Riscos e Consequências

• Amplificação da Discriminação: Em áreas como contratação, concessão de crédito e direito, LLMs enviesados podem tomar decisões discriminatórias, aumentando a desigualdade social.
• Disseminação de Estereótipos: O uso em massa de LLMs em motores de busca e chatbots pode levar à proliferação e normalização de estereótipos prejudiciais.
• Erosão da Confiança na Tecnologia: Se os usuários encontrarem vieses sistemáticos, isso mina sua confiança nas tecnologias de inteligência artificial como um todo.
• Criação de Bolhas de Filtro: Os algoritmos podem moldar os resultados para corresponder às supostas visões do usuário, o que sustenta câmaras de eco (echo chambers) e marginaliza as opiniões das minorias.

Métodos para Detecção e Mitigação de Viés

Para combater as distorções, pesquisadores e desenvolvedores aplicam uma abordagem complexa, trabalhando em três níveis: dados, modelo e pós-processamento.

Intervenções no Nível dos Dados

Esta é a abordagem mais fundamental. Inclui:

• Limpeza e Balanceamento: Remoção de conteúdo tóxico e enviesado dos dados de treinamento.
• Aumento de Dados (Data Augmentation): Adição de exemplos de grupos sub-representados para equilibrar as proporções.

Modificação no Nível do Modelo

Esta abordagem visa modificar o próprio algoritmo de treinamento:

• Restrições de Equidade: Restrições especiais são introduzidas na função de perda para «penalizar» o modelo por exibir certos tipos de viés.
• Alteração da Arquitetura: São investigadas variações na modificação dos mecanismos de atenção ou na adição de módulos de controle que monitoram e corrigem associações enviesadas.

Pós-processamento dos Resultados

Este método é aplicado já na fase de geração de respostas:

• Filtragem e Correção: Algoritmos especiais analisam o texto gerado e suavizam ou removem formulações potencialmente discriminatórias.
• Aprendizagem por Reforço com Feedback Humano (RLHF): O modelo é especificamente treinado para fornecer respostas mais neutras e seguras com base em avaliações fornecidas por humanos.

Apesar do progresso significativo, ainda não foi possível eliminar completamente o viés dos LLMs. Esta continua sendo uma das principais áreas de pesquisa, visando a criação de sistemas de IA mais justos e confiáveis.

Links

• Generative language models exhibit social identity biases — estudo na Nature Computational Science
• Unpacking the bias of large language models — artigo da MIT News

Literatura

• Guo, Y. et al. (2024). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv:2411.10915.
• Gallegos, I. O. et al. (2023). Bias and Fairness in Large Language Models: A Survey. arXiv:2309.00770.
• Wu, X. et al. (2025). On the Emergence of Position Bias in Transformers. arXiv:2502.01951.
• Hu, T. et al. (2024). Generative Language Models Exhibit Social Identity Biases. Nature Computational Science, 5, 65-75. Full text.
• Sheng, E. et al. (2019). The Woman Worked as a Babysitter: On Biases in Language Generation. In EMNLP-2019. PDF.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. In ACM FAccT 2021. DOI:10.1145/3442188.3445922.
• Bai, X. et al. (2024). Measuring Implicit Bias in Explicitly Unbiased Large Language Models. arXiv:2402.04105.
• Ma, C. et al. (2024). Debiasing Large Language Models with Structured Knowledge. In Findings of ACL 2024, pp. 10274-10287. [7].
• Mohammadi, B. (2024). Creativity Has Left the Chat: The Price of Debiasing Language Models. arXiv:2406.05587.
• Ayaz, A. et al. (2023). Taught by the Internet: Exploring Bias in OpenAI’s GPT-3. arXiv:2306.02428.
• Benedetto, L. & Stella, M. (2023). Cognitive Network Science Reveals Bias in GPT-3, GPT-3.5-Turbo, and GPT-4 Mirroring Math Anxiety in High-School Students. Applied Sciences, 13(3). Open access.