LaMDA
LaMDA (Language Model for Dialogue Applications) — это семейство больших языковых моделей на основе архитектуры трансформера, разработанное компанией Google и специализированное на ведении осмысленных, открытых диалогов[1]. В отличие от многих универсальных моделей своего времени, LaMDA была целенаправленно обучена для поддержания связных, многоходовых бесед на практически любую тему, свободно переключаясь между контекстами[2].
Модель была впервые публично представлена на конференции Google I/O в мае 2021 года[3]. LaMDA позиционировалась как фундаментальный шаг к более естественному взаимодействию человека с технологиями, например, через разговорные интерфейсы в поиске и голосовых помощниках[4].
Архитектура и обучение
Фундаментальная архитектура: «только декодер»
LaMDA представляет собой языковую модель типа «только декодер» (decoder-only), построенную на архитектуре трансформера. Эта архитектура является стандартом для задач генерации текста. Модель работает авторегрессионно — предсказывает следующее слово (токен) в последовательности, основываясь на всех предыдущих словах. Это позволяет ей генерировать связный и логичный текст, продолжая заданную беседу, но ограничивает её способность видеть «правый» контекст, в отличие от BERT[5].
Масштаб и обучающие данные
Семейство LaMDA включает модели с разным количеством параметров, от 2 до 137 миллиардов. Для предварительного обучения (pre-training) использовался огромный корпус данных объёмом 1,56 триллиона слов, состоящий из общедоступных диалоговых данных и веб-текстов. Этот объём почти в 40 раз превышал данные, использованные для обучения предшественницы LaMDA, модели Meena[1].
Процесс дообучения (Fine-Tuning) и метрики
Исследователи Google пришли к выводу, что одного лишь масштабирования недостаточно для обеспечения безопасности и фактической точности ответов. Поэтому был разработан многоэтапный процесс дообучения, в ходе которого модель целенаправленно настраивалась по трём ключевым метрикам, оцениваемым людьми-аннотаторами[1]:
- Качество (Quality): Оценивается через три компоненты:
- Осмысленность (Sensibleness)': Логичность и соответствие контексту.
- Специфичность (Specificity)': Конкретность и информативность ответов.
- Интересность (Interestingness)': Проницательность и остроумие.
- Безопасность (Safety): Предотвращение генерации вредных, предвзятых или токсичных высказываний. Для этого был дообучен специальный классификатор-фильтр.
- Обоснованность (Groundedness): Направлена на борьбу с «галлюцинациями» (выдуманными фактами). LaMDA была дообучена при необходимости обращаться к набору внешних инструментов (поисковая система, калькулятор, переводчик) для проверки и уточнения фактической информации[1]. Эта инновация стала одним из первых системных решений проблемы достоверности в больших языковых моделях.
История разработки и внедрения
Публичные анонсы и LaMDA 2
На Google I/O 2021 генеральный директор Сундар Пичаи продемонстрировал возможности LaMDA, показав диалоги, где модель вела беседу от лица планеты Плутон и бумажного самолётика[6].
Год спустя, на Google I/O 2022, была представлена LaMDA 2, которая стала «ещё более совершенным собеседником». Одновременно Google запустила приложение AI Test Kitchen — «лабораторию» для публичного тестирования, где пользователи могли испытать LaMDA в нескольких демонстрационных сценариях[7]. Это позволило собрать масштабную обратную связь для дальнейшего улучшения модели.
Интеграция в Google Bard
В феврале 2023 года, на фоне стремительного роста популярности ChatGPT, Google анонсировала запуск собственного экспериментального чат-бота Bard[8]. Изначально Bard работал на облегчённой версии LaMDA, чтобы снизить требования к вычислительным ресурсам. LaMDA послужила ключевой «переходной» технологией, позволив Google быстро вывести на рынок конкурентоспособный продукт, пока готовились к внедрению более мощные модели, такие как PaLM.
Инцидент с Блейком Лемуаном
В июне 2022 года LaMDA оказалась в центре широкой общественной дискуссии после того, как инженер из отдела этики ИИ Google Блейк Лемуан публично заявил, что модель, по его мнению, достигла уровня разумного существа (sentient). Он опубликовал фрагменты своих диалогов с LaMDA, в которых модель рассуждала о самосознании, чувствах и выражала страх перед отключением[9].
Официальная позиция и реакция научного сообщества
Google решительно опровергла утверждения Лемуана, заявив, что после проверки не было найдено никаких доказательств разумности модели, а имеются «многочисленные свидетельства против этого»[9]. В июле 2022 года Лемуан был уволен за нарушение корпоративной политики конфиденциальности[10].
Подавляющее большинство учёных и экспертов по ИИ также отвергли идею о разумности LaMDA. Лингвист Эмили М. Бендер и другие исследователи подчеркнули, что подобные модели являются «стохастическими попугаями» — сложными алгоритмами, которые статистически формируют связные тексты, имитируя человеческую речь, но без истинного понимания или сознания[11]. Инцидент наглядно продемонстрировал, насколько легко человек склонен к антропоморфизму, приписывая машинам человеческие качества, и стимулировал глобальную дискуссию о природе ИИ.
Вклад и наследие
Несмотря на относительно короткий жизненный цикл в качестве флагманской технологии, LaMDA оставила значительный след в истории развития разговорного ИИ.
- Технологический вклад: LaMDA продемонстрировала возможность создания открытых, контекстно-зависимых диалоговых систем и стала пионером в системном подходе к обеспечению безопасности (фильтрация на основе ценностей) и фактической обоснованности (обращение к внешним инструментам).
- Роль в экосистеме Google: LaMDA стала критически важной переходной технологией, которая позволила Google экстренно вступить в «войну чат-ботов» с продуктом Bard и послужила испытательным полигоном для методов, которые легли в основу более мощных моделей, таких как PaLM и Gemini.
- Общественное влияние: Инцидент с Блейком Лемуаном вывел дискуссию о природе ИИ, сознании и рисках антропоморфизма на новый глобальный уровень.
Ссылки
Литература
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Примечания
- ↑ 1,0 1,1 1,2 1,3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9,0 9,1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]