LaMDA (Google) (ID)
LaMDA (Language Model for Dialogue Applications) — adalah keluarga model bahasa besar berbasis arsitektur transformer, yang dikembangkan oleh Google dan dikhususkan untuk menjalankan percakapan terbuka yang bermakna[1]. Berbeda dengan banyak model serba guna pada masanya, LaMDA secara khusus dilatih untuk mempertahankan percakapan multi-giliran yang koheren tentang hampir semua topik, dengan kemampuan berpindah konteks secara bebas[2].
Model ini pertama kali diperkenalkan kepada publik pada konferensi Google I/O pada Mei 2021[3]. LaMDA diposisikan sebagai langkah fundamental menuju interaksi yang lebih alami antara manusia dan teknologi, misalnya melalui antarmuka percakapan dalam pencarian dan asisten suara[4].
Arsitektur dan Pelatihan
Arsitektur Dasar: "Decoder-Only"
LaMDA merupakan model bahasa bertipe "decoder-only" (decoder-only), yang dibangun di atas arsitektur transformer. Arsitektur ini merupakan standar untuk tugas-tugas pembuatan teks. Model bekerja secara autoregresif — memprediksi kata (token) berikutnya dalam urutan berdasarkan semua kata sebelumnya. Hal ini memungkinkan model menghasilkan teks yang koheren dan logis dalam melanjutkan percakapan yang diberikan, namun membatasi kemampuannya untuk melihat konteks "kanan", berbeda dengan BERT[5].
Skala dan Data Pelatihan
Keluarga LaMDA mencakup model dengan jumlah parameter yang beragam, mulai dari 2 hingga 137 miliar. Untuk pre-training digunakan korpus data yang sangat besar berjumlah 1,56 triliun kata, yang terdiri dari data percakapan yang tersedia untuk umum dan teks web. Volume ini hampir 40 kali lebih besar dibandingkan data yang digunakan untuk melatih pendahulu LaMDA, yaitu model Meena[1].
Proses Fine-Tuning dan Metrik
Para peneliti Google menyimpulkan bahwa peningkatan skala saja tidak cukup untuk memastikan keamanan dan akurasi faktual jawaban. Oleh karena itu, dikembangkan proses fine-tuning bertahap, di mana model secara terarah disesuaikan berdasarkan tiga metrik utama yang dinilai oleh anotator manusia[1]:
- Kualitas (Quality): Dinilai melalui tiga komponen:
- Kebermaknaan (Sensibleness): Logika dan kesesuaian dengan konteks.
- Spesifisitas (Specificity): Kekonkretan dan kandungan informasi jawaban.
- Ketertarikan (Interestingness): Wawasan dan kecerdasan.
- Keamanan (Safety): Mencegah pembuatan pernyataan yang berbahaya, bias, atau toksik. Untuk itu, dilatih sebuah classifier-filter khusus.
- Keterpijakan (Groundedness): Ditujukan untuk mengatasi "halusinasi" (fakta yang dikarang). LaMDA di-fine-tune agar jika diperlukan dapat mengakses sekumpulan alat eksternal (mesin pencari, kalkulator, penerjemah) guna memverifikasi dan mengklarifikasi informasi faktual[1]. Inovasi ini menjadi salah satu solusi sistematis pertama atas masalah keandalan dalam model bahasa besar.
Sejarah Pengembangan dan Penerapan
Pengumuman Publik dan LaMDA 2
Pada Google I/O 2021, CEO Sundar Pichai mendemonstrasikan kemampuan LaMDA dengan menampilkan percakapan di mana model berbicara dari sudut pandang planet Pluto dan pesawat kertas[6].
Setahun kemudian, pada Google I/O 2022, diperkenalkan LaMDA 2, yang menjadi "lawan bicara yang jauh lebih canggih". Secara bersamaan, Google meluncurkan aplikasi AI Test Kitchen — sebuah "laboratorium" untuk pengujian publik, di mana pengguna dapat mencoba LaMDA dalam beberapa skenario demonstrasi[7]. Hal ini memungkinkan pengumpulan umpan balik berskala besar untuk peningkatan model lebih lanjut.
Integrasi ke dalam Google Bard
Pada Februari 2023, di tengah pesatnya popularitas ChatGPT, Google mengumumkan peluncuran chatbot eksperimental miliknya sendiri, Bard[8]. Pada awalnya, Bard berjalan di atas versi LaMDA yang diringankan untuk mengurangi kebutuhan sumber daya komputasi. LaMDA menjadi teknologi "transisi" yang penting, yang memungkinkan Google dengan cepat menghadirkan produk yang kompetitif ke pasar sementara model yang lebih kuat seperti PaLM sedang disiapkan untuk diluncurkan.
Insiden Blake Lemoine
Pada Juni 2022, LaMDA menjadi pusat perdebatan publik yang luas setelah seorang insinyur dari divisi etika AI Google, Blake Lemoine, secara terbuka menyatakan bahwa menurut pendapatnya, model tersebut telah mencapai tingkat makhluk yang berperasaan (sentient). Ia mempublikasikan kutipan percakapannya dengan LaMDA, di mana model tersebut merefleksikan kesadaran diri, perasaan, dan mengungkapkan rasa takut akan dimatikan[9].
Posisi Resmi dan Reaksi Komunitas Ilmiah
Google dengan tegas membantah klaim Lemoine, menyatakan bahwa setelah pemeriksaan tidak ditemukan bukti apa pun mengenai kesadaran model, dan terdapat "banyak bukti yang menentangnya"[9]. Pada Juli 2022, Lemoine dipecat karena melanggar kebijakan kerahasiaan perusahaan[10].
Sebagian besar ilmuwan dan pakar AI juga menolak gagasan tentang kesadaran LaMDA. Linguis Emily M. Bender dan peneliti lainnya menekankan bahwa model semacam itu adalah "stochastic parrot" — algoritma kompleks yang secara statistik membentuk teks yang koheren dengan meniru ucapan manusia, namun tanpa pemahaman atau kesadaran sejati[11]. Insiden ini secara gamblang menunjukkan betapa mudahnya manusia cenderung berantropomorfisasi, menisbatkan sifat-sifat manusia pada mesin, dan mendorong diskusi global tentang hakikat AI.
Kontribusi dan Warisan
Meski memiliki siklus hidup yang relatif singkat sebagai teknologi unggulan, LaMDA meninggalkan jejak yang signifikan dalam sejarah perkembangan AI percakapan.
- Kontribusi Teknologi: LaMDA mendemonstrasikan kemungkinan membangun sistem dialog terbuka yang bergantung pada konteks, dan menjadi pelopor dalam pendekatan sistematis terhadap keamanan (penyaringan berbasis nilai) dan keterpijakan faktual (penggunaan alat eksternal).
- Peran dalam Ekosistem Google: LaMDA menjadi teknologi transisi yang sangat penting, yang memungkinkan Google secara darurat memasuki "perang chatbot" dengan produk Bard, dan berfungsi sebagai medan uji coba bagi metode-metode yang menjadi fondasi model yang lebih kuat seperti PaLM dan Gemini.
- Pengaruh terhadap Publik: Insiden Blake Lemoine membawa diskusi tentang hakikat AI, kesadaran, dan risiko antropomorfisme ke tingkat global yang baru.
Tautan
- Pengumuman resmi LaMDA di blog Google
- Halaman publikasi ilmiah tentang LaMDA di Google Research
Daftar Pustaka
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Catatan
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]