HellaSwag Benchmark (ID)

HellaSwag — adalah kumpulan data referensi (benchmark) yang diperkenalkan pada tahun 2019 untuk mengevaluasi kemampuan model kecerdasan buatan dalam memahami situasi sehari-hari (commonsense reasoning) dalam bahasa alami. Benchmark ini dikembangkan oleh sekelompok peneliti dari Universitas Washington dan Allen Institute for Artificial Intelligence.

Tugas HellaSwag adalah memilih kelanjutan yang paling masuk akal untuk konteks teks yang diberikan. Keistimewaan utama kumpulan data ini adalah bahwa tugas tersebut sangat mudah bagi manusia, namun membuat kebingungan bahkan pada model bahasa canggih sekalipun yang mengandalkan pola statistik permukaan.

Sejarah dan Latar Belakang

HellaSwag merupakan pengembangan dari gagasan dataset SWAG (Situations With Adversarial Generations), yang diusulkan oleh kelompok penulis yang sama pada tahun 2018. Dalam tugas SWAG, model diharuskan memilih kelanjutan yang paling mungkin untuk deskripsi situasi sederhana. Awalnya SWAG sulit bagi algoritma, namun dengan munculnya model BERT, hasil BERT pada SWAG mencapai level ~86%, hampir menyamai hasil manusia.

Keberhasilan ini menimbulkan keraguan: apakah BERT benar-benar "memahami" teks, atau hanya belajar mengenali artefak statistik dan pola yang ada dalam kumpulan data? Para penulis HellaSwag mengajukan hipotesis bahwa hasil tinggi BERT bukan karena pemahaman yang sesungguhnya, melainkan karena penyesuaian terhadap karakteristik dataset. Mereka menunjukkan bahwa dengan sedikit perubahan pada distribusi data, akurasi BERT turun drastis. Hal ini berarti bahwa untuk evaluasi kemajuan NLP yang objektif, diperlukan benchmark baru yang lebih sulit dan lebih "menjebak".

Deskripsi dan Tujuan Dataset

HellaSwag dibuat sebagai tes yang bertujuan mengungkap keterbatasan model-model modern dalam memahami hubungan sebab-akibat dan skenario kehidupan sehari-hari.

Struktur Tugas

Setiap contoh dalam HellaSwag terdiri dari dua bagian:

1. Konteks: Paragraf singkat (hingga tiga kalimat) yang menggambarkan awal dari suatu situasi.
2. Empat pilihan kelanjutan: Empat kemungkinan kelanjutan cerita, masing-masing terdiri dari beberapa kalimat.

Hanya satu dari kelanjutan tersebut yang benar (nyata), sedangkan tiga lainnya adalah palsu, yang dibuat khusus untuk mengecoh model.

Sumber Data

Contoh situasi diambil dari dua sumber yang mencakup berbagai skenario kehidupan sehari-hari:

• ActivityNet Captions: Deskripsi tindakan dari klip video (misalnya, "seseorang membuka toples acar").
• WikiHow: Instruksi dari artikel (misalnya, "cara mengganti ban mobil").

Tujuan HellaSwag adalah menciptakan benchmark yang mudah diselesaikan oleh manusia (secara intuitif), namun mempersulit semaksimal mungkin bagi model yang tidak memiliki akal sehat yang sesungguhnya. Efek ini oleh para penulis disebut "efek Goldilocks" (Goldilocks effect).

Metode Adversarial Filtering (AF)

Inovasi utama dalam pembuatan HellaSwag adalah metode Adversarial Filtering (AF) — pemilihan "jebakan" secara iteratif yang dirancang untuk model "korban" tertentu. Metode ini memungkinkan pembuatan pilihan palsu yang tampak meyakinkan menyerupai pilihan yang benar dari sudut pandang model statistik.

Skema kerja AF adalah sebagai berikut:

1. Generasi. Berdasarkan konteks awal, model bahasa generator (misalnya, GPT) menghasilkan sejumlah besar kemungkinan akhir yang salah.
2. Diskriminasi. Model classifier (misalnya, BERT) yang berperan sebagai "korban" mencoba membedakan kelanjutan yang dihasilkan dari yang nyata (benar).
3. Seleksi. Dipilih pilihan-pilihan palsu yang dianggap paling masuk akal oleh classifier, yaitu yang paling mungkin membuatnya melakukan kesalahan.
4. Iterasi. Proses diulang berkali-kali hingga jawaban palsu menjadi semirip mungkin dengan jawaban benar menurut algoritma.
5. Verifikasi oleh manusia. Pada tahap akhir, kumpulan yang diperoleh (konteks + 1 akhir yang benar + 3 akhir palsu terbaik) dinilai oleh manusia. Para penilai mengonfirmasi bahwa pilihan yang benar jelas merupakan yang paling alami, dan semua alternatif mengandung ketidaklogisan tertentu yang dapat dikenali oleh manusia.

Berkat AF, setiap contoh dalam HellaSwag sejak awal dirancang untuk menyesatkan model, namun tetap transparan bagi manusia.

Hasil dan Signifikansi

HellaSwag menjadi ujian yang ketat bagi model-model pemahaman teks. Hasil pengujian menunjukkan kesenjangan besar antara kecerdasan mesin dan manusia:

• Manusia menyelesaikan tugas HellaSwag hampir tanpa kesalahan, dengan akurasi sekitar 95-96%.
• Model terbaik pada saat pembuatan benchmark, BERT-Large, hanya mencapai akurasi ~47%. Metode yang lebih sederhana menunjukkan hasil sedikit di atas tebakan acak (25%).

Kesenjangan lebih dari 45 poin persentase mengkonfirmasi hipotesis bahwa hasil tinggi pada tes sebelumnya tidak berarti pemahaman yang sesungguhnya. HellaSwag menunjukkan bahwa bahkan setelah dilatih pada volume data yang sangat besar, model tidak mampu mengembangkan akal sehat yang umum untuk situasi baru.

Dalam tahun-tahun berikutnya, HellaSwag masuk ke dalam daftar tes standar untuk model bahasa baru. Kemajuan sistem AI dapat dilacak berdasarkan hasil mereka pada benchmark ini.

• Pada tahun 2020, model GPT-3 (175 miliar parameter) menunjukkan akurasi ~79% dalam mode few-shot, yang melampaui banyak model khusus pada periode itu, namun masih jauh di bawah manusia.
• Baru pada tahun 2023, model generasi baru seperti GPT-4 mampu mencapai hasil pada HellaSwag yang sebanding dengan manusia (sekitar 95% akurasi).

Penciptaan HellaSwag menandai pendekatan baru dalam evaluasi kemajuan NLP, yang didasarkan pada gagasan benchmark yang terus berkembang: seiring model-model semakin disempurnakan, perlu diciptakan tes-tes baru yang lebih sulit untuk mengungkap kelemahan mereka.

Tautan

• Situs resmi proyek HellaSwag
• Artikel ilmiah «HellaSwag: Can a Machine Really Finish Your Sentence?»

Literatur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.