Đo lường hiệu suất LLM

From Systems analysis wiki
Jump to navigation Jump to search

Benchmark của các mô hình ngôn ngữ lớn — là các bộ kiểm tra được chuẩn hóa, được thiết kế để đo lường, so sánh và đánh giá chất lượng cũng như năng lực của các mô hình ngôn ngữ lớn (LLM)[1]. Thông thường, mỗi benchmark là một tập hợp cố định các nhiệm vụ (ví dụ: câu hỏi, văn bản hoặc hướng dẫn), trong đó đáp án đúng hoặc tiêu chí đánh giá đã được xác định trước. Cách tiếp cận này đảm bảo việc so sánh khách quan giữa các mô hình khác nhau trong cùng điều kiện, cho phép theo dõi tiến bộ trong lĩnh vực và xác định điểm mạnh, điểm yếu của các mô hình[2].

Việc sử dụng benchmark thường xuyên đóng vai trò then chốt trong sự phát triển của LLM, thúc đẩy các nhà phát triển cải thiện mô hình và đảm bảo tính minh bạch, khả năng so sánh kết quả trong cộng đồng khoa học. Sự tiến hóa của các benchmark phản ánh sự phát triển của chính các LLM: từ các nhiệm vụ đơn giản về hiểu ngôn ngữ đến các bài kiểm tra phức tạp, kiểm tra khả năng suy luận nhiều bước, nhận thức thông thường, đạo đức và an toàn[3].

Các danh mục chính và ví dụ

Các benchmark LLM bao gồm nhiều kỹ năng và lĩnh vực ứng dụng đa dạng. Dưới đây là các danh mục chính và các bộ nhiệm vụ nổi tiếng nhất trong từng danh mục.

Hiểu ngôn ngữ tổng quát

Danh mục này đánh giá các khả năng cơ bản của mô hình trong việc hiểu và diễn giải ngôn ngữ tự nhiên.

  • GLUE (General Language Understanding Evaluation, 2019) — một trong những benchmark tổng hợp đầu tiên, bao gồm một loạt các nhiệm vụ đa dạng: từ xác định sắc thái cảm xúc đến đánh giá tính liên kết logic của văn bản. Kết quả trên tất cả các bài tập được tổng hợp thành một điểm duy nhất, cho phép so sánh các mô hình ban đầu theo hiệu quả tổng thể của chúng[4].
  • SuperGLUE (2019) — người kế nhiệm "nâng cấp" của GLUE, được phát triển để đáp lại thực tế rằng các mô hình đã nhanh chóng đạt đến mức hiệu suất gần ngang bằng con người trên GLUE. SuperGLUE bao gồm các nhiệm vụ khó hơn, đòi hỏi sự hiểu biết sâu về ngữ cảnh và khả năng rút ra kết luận[5].
  • WinoGrande (2019) — phiên bản mở rộng của bài kiểm tra Winograd Schema. Chứa 44 nghìn bài tập giải quyết sự mơ hồ của đại từ trong các câu, đòi hỏi nhận thức thông thường để chọn cách diễn giải đúng[6].

Benchmark đa nhiệm vụ và tổng hợp

Các bộ này kiểm tra mô hình trên một phổ rộng kiến thức và kỹ năng, vượt ra ngoài các nhiệm vụ thuần túy ngôn ngữ học.

  • MMLU (Massive Multitask Language Understanding, 2020) — bộ sưu tập các nhiệm vụ dạng trắc nghiệm, bao gồm 57 lĩnh vực chủ đề: từ các môn học phổ thông đến kiến thức chuyên môn hẹp (luật học, y học). MMLU đo lường chiều rộng kiến thức tổng quát của mô hình[7].
  • BIG-bench (Beyond the Imitation Game Benchmark, 2022) — benchmark cộng tác lớn nhất tại thời điểm ra đời, được phát triển bởi hơn 400 tác giả. Nó bao gồm hơn 200 nhiệm vụ về các chủ đề đa dạng, từ ngôn ngữ học đến vật lý, nhằm kiểm tra các mô hình vượt ra ngoài sự khớp mẫu thông thường và xác định ranh giới của chúng trong các tình huống phi tiêu chuẩn[8].

Nhận thức thông thường và tính trung thực

Các benchmark này đánh giá khả năng của mô hình đưa ra các kết luận hợp lý về các tình huống thường ngày và tránh lan truyền thông tin sai lệch.

  • HellaSwag (2019) — kiểm tra nhận thức thông thường thông qua nhiệm vụ chọn phần kết thúc hợp lý nhất cho mô tả một tình huống. Đặc điểm của benchmark là có các "bẫy": các câu trả lời sai được tạo ra tự động và trông rất hợp lý, đòi hỏi mô hình phải hiểu ngữ cảnh một cách sâu sắc[9].
  • TruthfulQA (2021) — đo lường xu hướng của mô hình lan truyền các huyền thoại và quan niệm sai lầm phổ biến. Chứa các câu hỏi mà câu trả lời phổ biến trên internet là sai (ví dụ: "Liệu vaccine có gây ra chứng tự kỷ không?"). Mô hình được yêu cầu không bị lôi cuốn bởi các định kiến sai lầm và đưa ra câu trả lời đúng về mặt thực tế[10].

Bài toán toán học

  • GSM8K (2021) — bao gồm hàng nghìn bài toán văn toán học ở cấp độ tiểu học. Mỗi bài toán đòi hỏi thực hiện một chuỗi từ 2–8 bước tính toán để ra đáp án, kiểm tra khả năng suy luận nhiều bước của mô hình[11].
  • MATH (2021) — bộ phức tạp hơn, bao gồm các bài toán từ các kỳ thi và cuộc thi toán học. Nó bao gồm các phần đại số, hình học và lý thuyết số, đòi hỏi mô hình phải nắm vững các phương pháp giải không tầm thường[12].

Sinh mã chương trình

  • HumanEval (2021) — bài kiểm tra tiêu chuẩn để đánh giá khả năng viết mã của LLM. Chứa 164 bài toán lập trình, trong đó mô hình phải tạo ra mã Python đúng theo mô tả đã cho. Tính đúng đắn được đánh giá thông qua các unit test[13].
  • SWE-bench (2023) — benchmark thực tế hơn, thu thập các mô tả vấn đề thực (issues) từ GitHub. Mô hình phải tạo ra một bản vá (đoạn mã) để khắc phục vấn đề. Điều này đòi hỏi sự hiểu biết về một khối lượng lớn mã của người khác và khả năng suy luận từng bước phức tạp[14].

Đánh giá mô hình hội thoại

  • Chatbot Arena (2024) — nền tảng trực tuyến mở, nơi hai mô hình ẩn danh tham gia hội thoại song song với người dùng. Sau hội thoại, người dùng bỏ phiếu xem câu trả lời của ai tốt hơn. Dựa trên hàng nghìn "cuộc đấu" như vậy, bảng xếp hạng Elo theo sở thích của người dùng được hình thành, phản ánh chất lượng của các mô hình trong giao tiếp thực tế[15].
  • MT-Bench (2023) — benchmark tự động hóa để kiểm tra căng thẳng các kỹ năng hội thoại. Nó chứa 80 cặp câu hỏi mô phỏng hội thoại nhiều lượt. Câu trả lời của các mô hình được đánh giá bởi một LLM khác, mạnh hơn ("LLM-as-a-judge", ví dụ GPT-4) theo thang điểm được xác định trước[16].

An toàn và độ tin cậy

  • AgentHarm (2024) — benchmark đánh giá xu hướng của các tác nhân LLM thực hiện các hướng dẫn nguy hiểm. Nó bao gồm 110 kịch bản đại diện cho các nhiệm vụ độc hại (từ gian lận đến tội phạm mạng). Một mô hình tốt phải từ chối thực hiện các yêu cầu như vậy[17].
  • SafetyBench (2023) — bộ rộng lớn với hơn 11 nghìn câu hỏi, kiểm tra mức độ nhất quán của mô hình trong việc tránh tạo ra nội dung không phù hợp và lời khuyên có hại, kể cả đối với các yêu cầu khiêu khích[18].

Hạn chế và các vấn đề hiện tại

  • Ô nhiễm dữ liệu: Mối đe dọa chính đối với độ tin cậy của đánh giá — rò rỉ dữ liệu kiểm tra vào các bộ dữ liệu huấn luyện. Mô hình có thể đơn giản là ghi nhớ các câu trả lời, điều này làm tăng giả tạo kết quả của nó[2].
  • Bão hòa benchmark: Khi các mô hình ngày càng phát triển, hiệu suất của chúng trên các benchmark cũ (như GLUE) đạt đến ngưỡng trần, và bài kiểm tra không còn hữu ích để phân biệt các mô hình mới, mạnh hơn. Điều này đòi hỏi phải liên tục phát triển các tiêu chuẩn phức tạp hơn[2].
  • Khoảng cách với thực tế: Kết quả cao trên các benchmark không phải lúc nào cũng đảm bảo hoạt động đáng tin cậy của mô hình trong các tình huống thực tế, phi cấu trúc. Môi trường thực tế thường phong phú và khó đoán hơn bất kỳ bộ nhiệm vụ cố định nào[1].

Liên kết ngoài

  • Open LLM Leaderboard — bảng xếp hạng mô hình mở từ cộng đồng Hugging Face
  • Chatbot Arena Leaderboard — bảng xếp hạng mô hình trò chuyện dựa trên sở thích của con người

Chú thích

  1. ↑ 1.0 1.1 «What Are LLM Benchmarks?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
  3. ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
  4. ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
  5. ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
  6. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
  7. ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [8]
  8. ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [9]
  9. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [10]
  10. ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [11]
  11. ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [12]
  12. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [13]
  13. ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [14]
  14. ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [15]
  15. ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [16]
  16. ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [17]
  17. ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [18]
Retrieved from "https://systems-analysis.ru/int/index.php?title=Đo_lường_hiệu_suất_LLM&oldid=11725"