Стохастический попугай
Стохастический попугай (англ. Stochastic parrot) — это метафора, используемая в области искусственного интеллекта для описания больших языковых моделей (LLM) как систем, которые умеют статистически правдоподобно комбинировать лингвистические формы, но лишены подлинного понимания их смысла[1].
Термин был введён в марте 2021 года в научной статье «О рисках стохастических попугаев: могут ли языковые модели быть слишком большими?» (On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?), опубликованной на конференции FAccT. Авторами выступили Эмили М. Бендер, Тимнит Гебру, Анджелина МакМиллан-Мейджор и Маргарет Митчелл[2].
Определение и концепция
Согласно авторам статьи, стохастический попугай представляет собой «систему для хаотичного соединения последовательностей лингвистических форм, наблюдаемых в её обширных тренировочных данных, согласно вероятностной информации о том, как они сочетаются, но без какой-либо связи со смыслом»[2].
Термин состоит из двух частей:
- Стохастический — от древнегреческого στοχαστικός («основанный на догадках»), в современной математике обозначает процесс, определяемый случайным распределением вероятностей[1].
- Попугай — отсылка к способности попугаев имитировать человеческую речь, не понимая её значения[1].
Концепция утверждает, что LLM, обученные предсказывать следующее слово в последовательности, по сути, являются сложными системами автодополнения, которые манипулируют символами без доступа к их значению.
Основные аргументы статьи «On the Dangers of Stochastic Parrots»
В работе выделены четыре основные категории рисков, связанных с разработкой чрезмерно больших языковых моделей.
1. Непознаваемые тренировочные данные
LLM обучаются на огромных, не аннотированных наборах данных, собранных из интернета (например, Common Crawl). Такие датасеты неизбежно содержат предвзятости, токсичный язык и гегемонные точки зрения, наносящие вред уязвимым группам. Например, интернет-контент непропорционально представляет белых мужчин из развитых стран (67% пользователей Reddit в США — мужчины)[2].
2. Отсутствие подлинного понимания языка
Авторы утверждают, что LLM не обладают подлинным пониманием языка. Они ссылаются на теорию о том, что язык — это система знаков, где форма (слово) неразрывно связана со значением (смыслом). Тренировочные данные для LLM содержат только форму, лишая модель доступа к значению. Поэтому LLM лишь имитируют осмысленную речь.
3. Синтетический текст и потенциальный вред
Поскольку LLM генерируют грамматически правильный и убедительный текст, люди склонны приписывать ему смысл и доверять ему. Это создаёт риск распространения дезинформации, языка ненависти и мошенничества. Чем совершеннее имитация, тем выше риск того, что люди переоценят способности ИИ и доверят ему критически важные решения.
Научное влияние и контроверсия вокруг публикации
Статья стала центром крупного скандала в Google, где на тот момент работали соавторы Тимнит Гебру и Маргарет Митчелл. В конце 2020 года, во время внутреннего рецензирования, руководство Google потребовало от авторов отозвать статью или удалить из неё имена сотрудников Google[3].
Тимнит Гебру, ведущий исследователь этики ИИ, отказалась выполнять это требование, что привело к её увольнению из Google в декабре 2020 года. В феврале 2021 года была уволена и Маргарет Митчелл, выступившая в поддержку Гебру[4]. Эти события вызвали широкий общественный резонанс. Более 2200 сотрудников Google и тысячи представителей академического сообщества подписали письмо протеста, обвинив компанию в научной цензуре и подавлении исследований, которые могут затрагивать её коммерческие интересы[5]. В итоге статья была опубликована в марте 2021 года на конференции FAccT.
Реакция, дебаты и эволюция взглядов
Метафора «стохастический попугай» быстро распространилась и стала центральной точкой в дебатах о природе искусственного интеллекта. Американское диалектологическое общество (ADS) выбрало «stochastic parrot» словом года в области ИИ за 2023 год, где оно обогнало даже «ChatGPT» и «LLM»[1].
Критика концепции и доказательства понимания
Концепция была оспорена многими ведущими исследователями.
- Джеффри Хинтон, один из «крёстных отцов» глубокого обучения, утверждал, что «для точного предсказания следующего слова нужно понимать предложение»[1]. В 2023 году, покинув Google, он заявил, что большие модели уже «понимают» то, чему их учат, и могут делать самостоятельные выводы[6].
- Эмерджентные способности: Исследования показали, что при достижении определённого масштаба LLM демонстрируют скачкообразное появление новых способностей, таких как решение арифметических задач, которые не были заложены в них явно[7].
- Внутренние модели мира: Исследование 2022 года показало, что модель, обученная играть в Отелло на основе текстовых записей ходов, спонтанно сформировала внутреннее представление игрового поля, что указывает на развитие абстрактной модели описываемого мира[3].
- Производительность на бенчмарках: Современные модели, такие как GPT-4, показывают результаты на уровне человека (или выше) на сложных профессиональных экзаменах, что, по мнению некоторых, невозможно без понимания[8].
Ироничное использование и общественный дискурс
Термин стал настолько популярен, что его иронично использовал даже глава OpenAI Сэм Альтман, написавший в Twitter: «я стохастический попугай, и вы тоже» (i am a stochastic parrot, and so r u). Этим он намекнул, что человеческая речь также во многом является вероятностным предсказанием следующего слова, обыгрывая критику в адрес ИИ[1].
Влияние на научный дискурс
Метафора «стохастический попугай» остаётся центральной в дебатах о возможностях и ограничениях LLM. Она помогла сформулировать проблему отсутствия у языковых моделей подлинного понимания и привлекла внимание к рискам, связанным с их разработкой. В то же время, быстрый прогресс в области LLM заставляет постоянно переосмысливать эту метафору, так как новейшие модели демонстрируют всё более сложное поведение, не укладывающееся в образ «бессмысленного попугая». Термин продолжает влиять на научный дискурс, подчёркивая важность критического анализа возможностей ИИ-систем и их социальных последствий[8].
Литература
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
Примечания
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [1]
- ↑ 2,0 2,1 2,2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [2]
- ↑ 3,0 3,1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [3]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [4]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [5]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [6]
- ↑ «Stochastic parrot». Wikipedia. [7]
- ↑ 8,0 8,1 «The debate over understanding in AI's large language models». PMC. [8]