Elo ranking of language models — モデルのELOランキング
言語モデルのELOランキング（ELO ranking of language models）は、元々チェスのために開発されたイロレーティングシステムを応用し、大規模言語モデル（LLM）を評価・比較するための手法です。このアプローチでは、人間の好みに基づいてモデルをペアで比較し、モデルの相対的な性能を反映した単一のランキングを作成します[1]。
特定のタスクにおける絶対的な指標を測定する従来のベンチマークとは異なり、ELOシステムは、人間の評価者による回答の直接比較に基づいてモデルの相対的な能力を決定します。基本的な原則は、ユーザーが同じプロンプトに対する2つの匿名モデルの回答を比較し、より良い方を選択するというものです。これらの好みに基づいて各モデルのレーティングが計算され、レーティングが高いほど人間の評価で優れていることを示します[2]。
発展の歴史
ELOシステムの起源
ELOレーティングシステムは、ハンガリー系アメリカ人の物理学者であるアルパド・イロ（Arpad Emrick Elo、1903年～1992年）によって、チェスプレイヤーの実力を評価するために1960年代に開発されました。物理学の教授であったイロは、評価の精度に重大な欠点があった既存のハークネスシステムを改良するものとして、このシステムを考案しました[3]。
- 1960年: アメリカ合衆国チェス連盟（USCF）がELOシステムを正式に採用。
- 1970年: 国際チェス連盟（FIDE）がこのシステムの使用を開始[4]。
言語モデルへの応用
LLMの評価にELOを応用する試みは、2023年5月3日にプラットフォームLMSYS Chatbot Arenaが開始されたことから始まりました。このプラットフォームは、UC Berkeley SkyLab、UC San Diego、カーネギーメロン大学の研究者による共同研究組織であるLMSYS（Large Model Systems Organization）によって作成されました[5]。
方法論
数学的基礎
古典的なELOの計算式
モデルAがモデルBに勝利する期待確率を計算するための古典的なELOの計算式は次の通りです: `P(A > B) = 1 / (1 + 10^((R_B - R_A) / 400))` ここで `R_A` と `R_B` はモデルの現在のレーティングです。
比較後のレーティングの更新は、次の計算式で行われます: `R'_A = R_A + K × (S_A - E_A)` ここで `K` はKファクター（development coefficient）、`S_A` は実際の結果（勝利は1、引き分けは0.5、敗北は0）、`E_A` は期待される結果です[4]。
ブラッドリー・テリー・モデル
LMSYS Chatbot Arenaを含む現代のプラットフォームは、統計的により根拠のあるアプローチであるブラッドリー・テリー・モデルに移行しました。モデル`i`がモデル`j`よりも好まれる確率は、次のように計算されます:
`P(i > j) = e^(β_i) / (e^(β_i) + e^(β_j))` ここで `β_i` と `β_j` は最尤法によって推定されるモデルの係数（レーティング）です[2]。この方法はより安定しており、人間の好みとの一致度が高いことが示されています[6]。
Chatbot Arenaにおける評価プロセス
- 匿名での比較: ユーザーは2つの匿名モデルと並行して対話します。
- 投票: 回答を受け取った後、ユーザーは好ましい方を選択します。
- モデル名の開示: モデル名は投票後にのみ表示されます。
- レーティングの更新: レーティングは投票結果に基づいて更新されます。通常、安定性を高めるためにバッチ処理されます[2]。
長所と短所
長所
- 単純さと解釈の容易さ: システムは理解しやすく、実装も簡単です。
- スケーラビリティ: 完全なペアワイズ比較を必要とせずに、多数のモデルを評価できます。
- 人間の好みとの一致: レーティングは抽象的な指標ではなく、ユーザーの実際の好みを直接反映します。
短所と限界
- 信頼性の問題: 個々のELO計算は、かなりの変動を示すことがあります。
- 推移性の違反: システムは常にA>BかつB>CならばA>Cという条件を満たすとは限らず、これは根本的な制約です。
- サンプルサイズへの依存: 安定したレーティングを得るためには、大規模なサンプル（数百から数千の比較）が必要です[6]。
- 評価におけるバイアス: ユーザーがより長い、または特定のスタイルで整形された回答を好む傾向や、評価者の文化的な違いにより、結果に偏りが生じる可能性があります。
結論
ELOランキングは、言語モデルの評価エコシステムにおいて重要なツールであり、人間の好みに基づいてモデルを比較する直感的な方法を提供します。LMSYS Chatbot Arenaのようなプラットフォームの成功にもかかわらず、この手法には推移性や信頼性の問題といった根本的な制約があります。古典的なELOからブラッドリー・テリー・モデルへの移行は重要な改善ですが、LLM評価の将来は、モデルの能力をより包括的に把握するために、複数のアプローチを組み合わせることにあるでしょう。
外部リンク
参考文献
- Elo, A. E. (1978). The Rating of Chessplayers, Past and Present. Arco Publishing. archive.org.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Daynauth, R. et al. (2025). Ranking Unraveled: Recipes for LLM Rankings in Head-to-Head AI Combat. arXiv:2411.14483.
- Liu, Y. et al. (2024). Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators. arXiv:2403.16950.
- Chatzi, I.; Straitouri, E.; Thejaswi, S.; Gomez‑Rodriguez, M. (2024). Prediction‑Powered Ranking of Large Language Models. arXiv:2402.17826.
- Xu, Y.; Ruis, L.; Rocktäschel, T.; Kirk, R. (2025). Investigating Non‑Transitivity in LLM‑as‑a‑Judge. arXiv:2502.14074.
- Liu, Z. et al. (2025). am‑ELO: A Stable Framework for Arena‑based LLM Evaluation. arXiv:2505.03475.
- Tang, S.; Wang, Y.; Jin, C. (2025). Is Elo Rating Reliable? A Study Under Model Misspecification. arXiv:2502.10985.
- Nair, A. et al. (2025). Tournament of Prompts: Evolving LLM Instructions Through Structured Debates and Elo Ratings. arXiv:2506.00178.
- Ameli, S. et al. (2024). A Statistical Framework for Ranking LLM‑Based Chatbots. arXiv:2412.18407.
- Huang, J. Y.; Shen, Y.; Wei, D.; Broderick, T. (2025). Dropping Just a Handful of Preferences Can Change Top LLM Rankings. arXiv:2508.11847.
- Sun, H.; Shen, Y.; Ton, J.‑F. (2024). Rethinking Bradley‑Terry Models in Preference‑Based Reward Modeling: Foundations, Theory, and Alternatives. arXiv:2411.04991.
- Glickman, M. E. (2025). Paired Comparison Models with Strength‑Dependent Ties and Order Effects. arXiv:2505.24783.
- Glickman, M. E. (2025). Rating Competitors in Games with Strength‑Dependent Tie Probabilities. arXiv:2506.11354.
- Hua, H.-F.; Dong, J.; Liu, Z. (2023). Rating of Players by Laplace Approximation and Dynamic Bradley–Terry Model. arXiv:2310.10386.
脚注
- ↑ “Elo Rating for LLMs: A Deep Dive”. Medium. [1]
- ↑ 2.0 2.1 2.2 “Chatbot Arena: Benchmarking LLMs in the Wild with Elo Ratings”. LMSYS Org. [2]
- ↑ “Elo rating system”. In Wikipedia, The Free Encyclopedia. [3]
- ↑ 4.0 4.1 “How Does the Elo Rating System Work?”. History Hit. [4]
- ↑ “LMSYS Chatbot Arena: The Ultimate LLM Leaderboard”. Originality.AI. [5]
- ↑ 6.0 6.1 Boubdir, N., et al. “Elo Uncovered: Robustness and Best Practices in Language Model Evaluation”. arXiv:2310.09277. [6]