METEOR (metric) (SV)
METEOR — är ett namn som används inom området för naturlig språkbehandling (NLP) för flera relaterade men olika begrepp. Främst är det en välkänd automatisk metrik för utvärdering av maskinöversättningskvalitet. Dessutom presenterades år 2024 under samma namn två oberoende forskningsprojekt kopplade till stora språkmodeller (LLM): en metod för evolutionär träning och en multimodal språkmodell.
METEOR som metrik för utvärdering av översättningskvalitet
METEOR (förkortning av Metric for Evaluation of Translation with Explicit ORdering) — är en automatisk metrik för utvärdering av maskinöversättningskvalitet, som föreslogs år 2005 av forskarna Satanjeev Banerjee och Alon Lavie vid Carnegie Mellon University[1]. Syftet var att förbättra överensstämmelsen mellan automatiska bedömningar och mänskliga omdömen, särskilt på meningsnivå, genom att åtgärda vissa brister hos den tidigare metriken BLEU.
Viktigaste egenskaperna hos METEOR-metriken:
- Hänsyn till precision och recall: Till skillnad från BLEU, som enbart fokuserar på precision, beräknar METEOR det harmoniska medelvärdet av precision och recall, vilket gör att översättningar straffas för att missa viktiga ord.
- Flexibel ordmatchning: METEOR använder lingvistiska egenskaper för att matcha översättningen mot referensen. Den tar hänsyn inte bara till exakta träffar, utan även till olika ordformer (med hjälp av stemming) och synonymer (med hjälp av WordNet).
- Straff för felaktig ordföljd: I metriken ingår ett straff som beivrar felaktig ordföljd i kandidatöversättningen, även om alla ord stämmer överens med referensen.
Dessa förbättringar gör att METEOR-metriken korrelerar betydligt bättre med mänskliga bedömningar jämfört med BLEU[2]. Metriken används flitigt inom forskning om maskinöversättning, automatisk sammanfattning och utvärdering av bildtexter[3].
METEOR som metod för evolutionär träning av LLM
År 2024 presenterade en grupp kinesiska forskare en metod under namnet METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth[4]. Denna metod är avsedd för effektiv träning av LLM som specialiserar sig inom smala ämnesdomäner (exempelvis finans, medicin), utan att behöva träna modellen från grunden.
Författarna beskriver ett trefasigt schema för LLM:ens "evolution":
- Kunskapsdestillation från stark till svag modell (weak-to-strong data distillation): För att generera träningskorpuset används en kraftfullare "lärar"-modell (exempelvis GPT-4). Den domänspecifika modellen genererar först en lösningsplan, varefter den starka modellen skapar ett svar utifrån denna plan. Detta utjämnar kunskapsfördelningen och gör det möjligt för målmodellen att tillgodogöra sig kunskapen mer effektivt.
- Iterativ träning med extern återkoppling (guided iterative training): Modellen som tränats i det första steget löser uppgifter självständigt, medan den starka modellen fungerar som "domare" och utvärderar svaren samt pekar ut fel. Denna reflexiva cykel utvecklar domänmodellens förmåga till självgranskning.
- Självevolution (self-evolution): Modellen fortsätter att förbättras utan extern handledare, och använder de ackumulerade färdigheterna för att generera och korrigera nya data.
Denna metod erbjuder ett praktiskt tillvägagångssätt för att skapa kompakta och kostnadseffektiva LLM-experter för specifika branscher[5].
METEOR som multimodal LLM
Även år 2024 presenterade ett forskarteam från KAIST en stor multimodal språkmodell under namnet METEOR: Mamba-based Traversal of Rationales[6]. Modellen är avsedd för komplex förståelse av visuell information och generering av svar på visuella frågor.
Den viktigaste egenskapen hos METEOR är användningen av utförliga resonemang (rationales). Modellen ger inte bara ett slutsvar, utan genererar och stödjer sig på en dold "tankekedja" — en stegvis förklaring av hur man når svaret, liknande hur en människa skulle resonera.
I METEOR:s arkitektur används en särskild modul baserad på modellen Mamba — en effektiv arkitektur för bearbetning av mycket långa sekvenser. Denna modul kodar långa resonemangsskedjor som kan inkludera beskrivningar av objekt i en bild, deras rumsliga relationer och steg för att lösa uppgiften[7].
Modellen testades framgångsrikt på avancerade multimodala benchmarks såsom MME, AI2D (diagramförståelse) och MathVista (lösning av matematiska uppgifter i visuellt sammanhang). Den uppvisade höga resultat utan att kräva ytterligare externa moduler för datorseende, vilket tyder på en effektiv användning av egna parametrar[7].
Noter
- ↑ Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT, 2005. [1]
- ↑ Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». ACL Workshop on Statistical Machine Translation, 2007. [2]
- ↑ «Evaluating Large Language Models: Powerful Insights Ahead». DataScienceDojo. [3]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». arXiv preprint arXiv:2411.11933, 2024. [4]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». ar5iv.org. [5]
- ↑ Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». NeurIPS 2024 (poster). [6]
- ↑ 7.0 7.1 Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». arXiv preprint arXiv:2405.15574, 2024. [7]