Papagaio Estocástico

Papagaio estocástico (do inglês Stochastic parrot) é uma metáfora usada no campo da inteligência artificial para descrever os modelos de linguagem grandes (LLMs) como sistemas que combinam formas linguísticas de maneira estatisticamente plausível, mas sem uma compreensão genuína de seu significado.

O termo foi cunhado em março de 2021 no artigo científico "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" ("Sobre os Perigos dos Papagaios Estocásticos: Podem os Modelos de Linguagem Ser Grandes Demais?"), publicado na conferência FAccT. Os autores foram Emily M. Bender, Timnit Gebru, Angelina McMillan-Major e Margaret Mitchell.

Definição e conceito

Segundo os autores do artigo, um papagaio estocástico é um "sistema para juntar caoticamente sequências de formas linguísticas observadas em seus vastos dados de treinamento, de acordo com informações probabilísticas sobre como elas se combinam, mas sem qualquer referência ao significado".

O termo é composto por duas partes:

• Estocástico — do grego antigo στοχαστικός ("baseado em conjecturas"), na matemática moderna, refere-se a um processo determinado por uma distribuição de probabilidade aleatória.
• Papagaio — uma referência à capacidade dos papagaios de imitar a fala humana sem compreender seu significado.

O conceito argumenta que os LLMs, treinados para prever a próxima palavra em uma sequência, são essencialmente sistemas complexos de autocompletar que manipulam símbolos sem acesso ao seu significado.

Principais argumentos do artigo "On the Dangers of Stochastic Parrots"

O trabalho destaca quatro categorias principais de riscos associados ao desenvolvimento de modelos de linguagem excessivamente grandes.

1. Dados de treinamento insondáveis

Os LLMs são treinados em conjuntos de dados enormes e não anotados, coletados da internet (como o Common Crawl). Tais datasets contêm inevitavelmente vieses, linguagem tóxica e pontos de vista hegemônicos que prejudicam grupos vulneráveis. Por exemplo, o conteúdo da internet representa desproporcionalmente homens brancos de países desenvolvidos (67% dos usuários do Reddit nos EUA são homens).

2. Ausência de compreensão genuína da linguagem

Os autores argumentam que os LLMs não possuem uma compreensão genuína da linguagem. Eles se baseiam na teoria de que a linguagem é um sistema de signos onde a forma (a palavra) está intrinsecamente ligada ao significado (o sentido). Os dados de treinamento para LLMs contêm apenas a forma, privando o modelo do acesso ao significado. Portanto, os LLMs apenas imitam um discurso com sentido.

3. Texto sintético e danos potenciais

Como os LLMs geram texto gramaticalmente correto e convincente, as pessoas tendem a atribuir-lhe significado e a confiar nele. Isso cria o risco de disseminação de desinformação, discurso de ódio e fraude. Quanto mais perfeita a imitação, maior o risco de que as pessoas superestimem as capacidades da IA e confiem a ela decisões críticas.

Impacto científico e controvérsia em torno da publicação

O artigo tornou-se o centro de um grande escândalo no Google, onde as coautoras Timnit Gebru e Margaret Mitchell trabalhavam na época. No final de 2020, durante a revisão interna, a gestão do Google exigiu que os autores retirassem o artigo ou removessem os nomes dos funcionários do Google dele.

Timnit Gebru, uma pesquisadora líder em ética de IA, recusou-se a cumprir essa exigência, o que levou à sua demissão do Google em dezembro de 2020. Em fevereiro de 2021, Margaret Mitchell, que apoiou Gebru, também foi demitida. Esses eventos causaram grande repercussão pública. Mais de 2.200 funcionários do Google e milhares de membros da comunidade acadêmica assinaram uma carta de protesto, acusando a empresa de censura científica e de suprimir pesquisas que poderiam afetar seus interesses comerciais. No final, o artigo foi publicado em março de 2021 na conferência FAccT.

Reação, debates e evolução das perspectivas

A metáfora "papagaio estocástico" se espalhou rapidamente e se tornou um ponto central nos debates sobre a natureza da inteligência artificial. A American Dialect Society (ADS) elegeu "stochastic parrot" como a palavra do ano na área de IA para 2023, superando até mesmo "ChatGPT" e "LLM".

Críticas ao conceito e evidências de compreensão

O conceito foi contestado por muitos pesquisadores proeminentes.

• Geoffrey Hinton, um dos "padrinhos" do aprendizado profundo, argumentou que "para prever com precisão a próxima palavra, é preciso entender a frase". Em 2023, após deixar o Google, ele afirmou que os grandes modelos já "entendem" o que lhes é ensinado e podem tirar conclusões independentes.
• Habilidades emergentes: Pesquisas mostraram que, ao atingir uma certa escala, os LLMs demonstram o surgimento abrupto de novas habilidades, como a resolução de problemas aritméticos, que não foram explicitamente programadas neles.
• Modelos internos do mundo: Um estudo de 2022 demonstrou que um modelo treinado para jogar Othello com base em registros textuais de movimentos desenvolveu espontaneamente uma representação interna do tabuleiro de jogo, indicando o desenvolvimento de um modelo abstrato do mundo descrito.
• Desempenho em benchmarks: Modelos modernos, como o GPT-4, demonstram desempenho em nível humano (ou superior) em exames profissionais complexos, o que, para alguns, seria impossível sem compreensão.

Uso irônico e discurso público

O termo se tornou tão popular que foi usado ironicamente até mesmo pelo CEO da OpenAI, Sam Altman, que tuitou: "eu sou um papagaio estocástico, e vocês também são" (i am a stochastic parrot, and so r u). Com isso, ele sugeriu que a fala humana também é, em grande parte, uma previsão probabilística da próxima palavra, brincando com a crítica dirigida à IA.

Influência no discurso científico

A metáfora "papagaio estocástico" permanece central nos debates sobre as capacidades e limitações dos LLMs. Ela ajudou a articular o problema da falta de compreensão genuína nos modelos de linguagem e chamou a atenção para os riscos associados ao seu desenvolvimento. Ao mesmo tempo, o rápido progresso na área de LLMs força uma reavaliação constante dessa metáfora, já que os modelos mais recentes demonstram um comportamento cada vez mais complexo que não se encaixa na imagem de um "papagaio sem sentido". O termo continua a influenciar o discurso científico, destacando a importância da análise crítica das capacidades dos sistemas de IA e de suas consequências sociais.

Literatura

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.