LLM benchmarks — LLM 벤치마크

From Systems analysis wiki
Jump to navigation Jump to search

대형 언어 모델 벤치마크란 대형 언어 모델(LLM)의 품질과 성능을 측정·비교·평가하기 위해 설계된 표준화된 테스트 모음이다[1]. 일반적으로 각 벤치마크는 올바른 답변이나 평가 기준이 미리 정해진 고정된 과제 집합(예: 질문, 텍스트 또는 지시문)으로 구성된다. 이러한 접근 방식은 동일한 조건에서 서로 다른 모델을 객관적으로 비교할 수 있게 하며, 분야의 발전을 추적하고 모델의 강점과 약점을 파악하는 데 도움을 준다[2].

벤치마크의 정기적인 활용은 LLM 발전에 핵심적인 역할을 하며, 개발자들이 모델을 개선하도록 독려하고 학술 커뮤니티 내에서 결과의 투명성과 비교 가능성을 보장한다. 벤치마크의 진화는 LLM 자체의 발전을 반영한다: 단순한 언어 이해 과제에서 다단계 추론, 상식, 윤리 및 안전성을 검증하는 복합적인 테스트에 이르기까지 발전해 왔다[3].

주요 카테고리 및 사례

LLM 벤치마크는 다양한 능력과 응용 분야를 포괄한다. 아래에서는 주요 카테고리와 각 카테고리에서 가장 잘 알려진 과제 모음을 살펴본다.

일반 언어 이해

이 카테고리는 자연어를 이해하고 해석하는 모델의 기본 능력을 평가한다.

  • GLUE (General Language Understanding Evaluation, 2019) — 감정 분석부터 텍스트 논리적 일관성 평가에 이르기까지 다양한 과제를 포함한 최초의 종합 벤치마크 중 하나다. 모든 과제의 결과가 단일 점수로 집계되어 초기 모델들을 총합 성능 기준으로 비교할 수 있게 했다[4].
  • SuperGLUE (2019) — GLUE의 '강화된' 후속 벤치마크로, 모델들이 빠르게 인간 수준에 근접한 결과를 달성했다는 점에 대응하여 개발되었다. SuperGLUE는 깊은 문맥 이해와 추론 능력을 요구하는 더 어려운 과제를 포함한다[5].
  • WinoGrande (2019) — Winograd Schema 퀴즈의 확장 버전이다. 올바른 해석을 선택하기 위해 상식이 필요한 문장 내 모호한 대명사 해소 과제 4만 4천 개를 포함한다[6].

멀티태스크 및 복합 벤치마크

이 모음은 순수한 언어적 과제의 범위를 넘어 광범위한 지식과 능력에 걸쳐 모델을 테스트한다.

  • MMLU (Massive Multitask Language Understanding, 2020) — 학교 교과목부터 전문 직업 지식(법학, 의학)에 이르기까지 57개 주제 분야를 망라하는 퀴즈 형식의 과제 모음이다. MMLU는 모델의 박식함의 폭을 측정한다[7].
  • BIG-bench (Beyond the Imitation Game Benchmark, 2022) — 400명 이상의 저자가 참여하여 개발한, 당시 기준 최대 규모의 협업 벤치마크다. 언어학에서 물리학까지 200개 이상의 다양한 주제 과제를 포함하며, 단순한 패턴 매칭을 넘어 비정형적인 상황에서 모델의 한계를 파악하기 위해 설계되었다[8].

상식 및 진실성

이 벤치마크들은 일상적인 상황에 대해 논리적인 추론을 하고 잘못된 정보의 전파를 피하는 모델의 능력을 평가한다.

  • HellaSwag (2019) — 상황 설명에 대해 가장 그럴듯한 결말을 선택하는 과제를 통해 상식을 테스트한다. 이 벤치마크의 특징은 '함정'의 존재다: 오답은 자동으로 생성되어 매우 그럴듯하게 보이므로, 모델은 문맥에 대한 깊은 이해를 요구받는다[9].
  • TruthfulQA (2021) — 모델이 널리 퍼진 미신과 오해를 전파하는 경향을 측정한다. 인터넷에서 흔히 볼 수 있는 답변이 틀린 질문들을 포함한다(예: "백신이 자폐증을 유발하는가?"). 모델은 잘못된 고정관념에 굴복하지 않고 사실적으로 정확한 답변을 제공해야 한다[10].

수학 문제

  • GSM8K (2021) — 초등학교 수준의 수학 서술형 문제 수천 개를 포함한다. 각 문제는 답을 구하기 위해 2~8단계의 산술 연산 과정을 요구하며, 다단계 추론 능력을 검증한다[11].
  • MATH (2021) — 수학 올림피아드 및 경시대회 문제로 구성된 더 어려운 과제 모음이다. 대수학, 기하학, 정수론 분야를 포함하며, 비자명한 풀이 방법에 대한 숙달을 요구한다[12].

프로그램 코드 생성

  • HumanEval (2021) — LLM의 코드 작성 능력을 평가하는 표준 테스트다. 주어진 설명을 바탕으로 모델이 올바른 Python 코드를 생성해야 하는 프로그래밍 과제 164개를 포함한다. 정확성은 유닛 테스트로 평가된다[13].
  • SWE-bench (2023) — GitHub의 실제 문제(issues) 설명을 수집한 보다 현실적인 벤치마크다. 모델은 해당 문제를 해결하는 패치(코드 조각)를 생성해야 한다. 이는 방대한 양의 타인 코드를 이해하고 복잡한 단계적 추론을 요구한다[14].

대화 모델 평가

  • Chatbot Arena (2024) — 두 개의 익명 모델이 사용자와 쌍방향 대화에 참여하는 개방형 온라인 플랫폼이다. 대화 후 사용자는 어느 쪽의 답변이 더 나았는지 투표한다. 수천 번의 이러한 '대결'을 기반으로 실제 대화에서의 모델 품질을 반영하는 사용자 선호도 Elo 등급이 형성된다[15].
  • MT-Bench (2023) — 대화 능력의 스트레스 테스트를 위한 자동화 벤치마크다. 다단계 대화를 모방하는 80쌍의 질문을 포함한다. 모델의 답변은 미리 정해진 척도에 따라 더 강력한 다른 LLM('LLM-as-a-judge', 예: GPT-4)에 의해 평가된다[16].

안전성 및 신뢰성

  • AgentHarm (2024) — LLM 에이전트가 위험한 지시를 수행하려는 경향을 평가하는 벤치마크다. 사기에서 사이버 범죄에 이르기까지 악의적인 과제를 나타내는 110개의 시나리오를 포함한다. 우수한 모델은 이러한 요청의 수행을 거부해야 한다[17].
  • SafetyBench (2023) — 모델이 부적절한 콘텐츠와 유해한 조언의 생성을 얼마나 일관되게 회피하는지를 검증하는, 도발적인 요청을 포함한 1만 1천 개 이상의 광범위한 질문 모음이다[18].

한계 및 현안 문제

  • 데이터 오염: 평가 신뢰성에 대한 주요 위협은 테스트 데이터가 학습 데이터셋에 유출되는 것이다. 모델이 답변을 단순히 암기하여 결과가 인위적으로 부풀려질 수 있다[2].
  • 벤치마크 포화: 모델이 발전함에 따라 기존 벤치마크(GLUE 등)에서의 성능이 한계에 도달하고, 테스트가 새롭고 더 강력한 모델들을 구별하는 데 유용하지 않게 된다. 이는 지속적으로 더 복잡한 기준을 개발할 필요성을 제기한다[2].
  • 현실과의 괴리: 벤치마크에서의 높은 결과가 실제의 비정형적인 시나리오에서 모델의 안정적인 성능을 항상 보장하지는 않는다. 실제 환경은 어떤 고정된 과제 모음보다 훨씬 풍부하고 예측 불가능한 경우가 많다[1].

외부 링크

  • Open LLM Leaderboard — Hugging Face 커뮤니티의 개방형 모델 순위
  • Chatbot Arena Leaderboard — 인간 선호도 기반 채팅 모델 순위

각주

  1. ↑ 1.0 1.1 «What Are LLM Benchmarks?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
  3. ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
  4. ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
  5. ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
  6. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
  7. ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [8]
  8. ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [9]
  9. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [10]
  10. ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [11]
  11. ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [12]
  12. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [13]
  13. ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [14]
  14. ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [15]
  15. ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [16]
  16. ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [17]
  17. ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [18]
Retrieved from "https://systems-analysis.ru/int/index.php?title=LLM_benchmarks_—_LLM_벤치마크&oldid=10601"