METEOR (metric) — メテオ
METEORは、自然言語処理（NLP）の分野で用いられる、関連しつつも異なる複数の概念を指す名称です。まず第一に、機械翻訳の品質を評価するための著名な自動評価指標です。さらに、2024年には、大規模言語モデル（LLM）に関連する2つの独立した研究プロジェクトが同じ名称で発表されました。一つは進化的学習手法、もう一つはマルチモーダル言語モデルです。
翻訳品質評価指標としてのMETEOR
METEOR（Metric for Evaluation of Translation with Explicit ORderingの略）は、2005年にカーネギーメロン大学の研究者Satanjeev BanerjeeとAlon Lavieによって提案された、機械翻訳の品質を評価するための自動評価指標です[1]。その目的は、初期の評価指標であるBLEUのいくつかの欠点を解消し、特に文レベルでの自動評価と人手による評価との相関を高めることでした。
METEOR指標の主な特徴は以下の通りです。
- 適合率と再現率の考慮: 適合率（precision）のみに焦点を当てるBLEUとは異なり、METEORは適合率と再現率（recall）の調和平均を計算します。これにより、重要な単語が欠落している翻訳にペナルティを課すことができます。
- 柔軟な単語マッチング: METEORは言語的特徴を利用して、翻訳文と参照訳を照合します。完全一致だけでなく、語形変化（ステミングによる）や同義語（WordNetを利用）も考慮に入れます。
- 語順の乱れに対するペナルティ: 候補となる翻訳文の単語がすべて参照訳と一致していても、語順が不適切な場合にはペナルティが課される仕組みが導入されています。
これらの改良により、METEOR指標はBLEUと比較して人手評価との相関が大幅に向上しています[2]。この指標は、機械翻訳、自動要約、画像キャプション生成の研究で広く利用されています[3]。
LLMの進化的学習手法としてのMETEOR
2024年、中国の研究者グループがMETEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growthという名称の手法を発表しました[4]。この手法は、金融や医療といった特定の専門分野に特化したLLMを、ゼロから訓練することなく効率的に学習させることを目的としています。
著者らは、LLMの「進化」における3段階のフレームワークを提唱しています。
- 強力なモデルから弱いモデルへの知識蒸留（weak-to-strong data distillation）: より高性能な「教師」モデル（例：GPT-4）を用いて訓練コーパスを生成します。この際、まずドメイン特化モデルが解決策の計画を生成し、その計画に沿って強力なモデルが回答を作成します。これにより知識の分布が平準化され、ターゲットモデルがより効率的に知識を吸収できるようになります。
- 外部フィードバックを伴う反復学習（guided iterative training）: 第1段階で訓練されたモデルが自律的に課題を解決し、強力なモデルが「審判」役として回答を評価し、誤りを指摘します。この内省的なサイクルを通じて、ドメイン特化モデルは自己検証能力を発達させます。
- 自己進化（self-evolution）: モデルは外部の監督者なしで改善を続け、蓄積したスキルを用いて新しいデータを生成・修正します。
この手法は、特定の産業向けに、コンパクトで経済的なLLMエキスパートを構築するための実用的なアプローチを提案しています[5]。
マルチモーダルLLMとしてのMETEOR
同じく2024年、KAISTの研究チームがMETEOR: Mamba-based Traversal of Rationalesと名付けられた大規模マルチモーダル言語モデルを発表しました[6]。このモデルは、視覚情報を包括的に理解し、視覚的な質問に対する回答を生成することを目的としています。
METEORの主な特徴は、詳細な論理的根拠（rationales）の利用です。モデルは最終的な回答を直接出力するだけでなく、人間が推論するように、その回答に至るまでのプロセスを段階的に説明する隠れた「思考の連鎖」を生成し、それに依拠します。
METEORのアーキテクチャには、非常に長いシーケンスの処理に効果的なアーキテクチャであるMambaモデルをベースにした特別なモジュールが組み込まれています。このモジュールは、画像内のオブジェクトの説明、それらの空間的関係、およびタスクを解決するためのステップを含む、長い思考の連鎖をエンコードします[7]。
このモデルは、MME、AI2D（図の理解）、MathVista（視覚的文脈での数学問題解決）といった複雑なマルチモーダルベンチマークでテストされ、成功を収めました。追加の外部コンピュータビジョンモジュールを必要とせずに高い性能を発揮し、自身のパラメータを効率的に活用していることを示しています[7]。
注釈
- ↑ Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT, 2005. [1]
- ↑ Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». ACL Workshop on Statistical Machine Translation, 2007. [2]
- ↑ «Evaluating Large Language Models: Powerful Insights Ahead». DataScienceDojo. [3]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». arXiv preprint arXiv:2411.11933, 2024. [4]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». ar5iv.org. [5]
- ↑ Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». NeurIPS 2024 (poster). [6]
- ↑ 7.0 7.1 Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». arXiv preprint arXiv:2405.15574, 2024. [7]