BERTScore (metric) (DE)

BERTScore ist eine automatische Metrik zur Bewertung der Qualität von generiertem Text, die auf der Messung semantischer Ähnlichkeit mithilfe kontextueller Embeddings aus vortrainierten Sprachmodellen wie BERT basiert. Die Metrik wurde 2019 von einer Forschungsgruppe unter der Leitung von Tianyi Zhang in der Arbeit „BERTScore: Evaluating Text Generation with BERT“ vorgestellt.

Im Gegensatz zu traditionellen Metriken wie BLEU und ROUGE, die auf der exakten Übereinstimmung von n-grammen basieren, erkennt BERTScore Bedeutungsäquivalenz auch bei unterschiedlicher Wortwahl und Formulierung, indem Synonyme und Paraphrasen berücksichtigt werden.

Berechnungsmethode

Die BERTScore-Methode besteht aus mehreren Schritten:

1. Erstellung kontextueller Embeddings: Beide Texte (der Referenztext und der generierte Text) werden in Token zerlegt und durch ein vortrainiertes Transformer-Modell (z. B. BERT oder RoBERTa) verarbeitet. Für jedes Token wird seine kontextuelle Vektordarstellung (Embedding) extrahiert.
2. Berechnung der Kosinus-Ähnlichkeit: Für alle Token-Paare aus den beiden Texten wird die Kosinus-Ähnlichkeit berechnet und eine Ähnlichkeitsmatrix der Token erstellt.
3. Berechnung von Precision, Recall und F1-Score: Basierend auf der Ähnlichkeitsmatrix wird für jedes Token im generierten Text das ähnlichste Token im Referenztext gefunden, was die Berechnung der Precision (Genauigkeit) ermöglicht. Analog wird für jedes Token des Referenztextes das ähnlichste Token im generierten Text gefunden, was den Recall (Vollständigkeit) ergibt. Der endgültige BERTScore ist der F₁-Score, der Precision und Recall kombiniert:

   $R_{\text{BERT}}=\frac{1}{|x|}\sum _{x_i\in x}\underset{y_j\in y}{\max }{x}_i^T{y}_j(\text{Recall})$
   $P_{\text{BERT}}=\frac{1}{|y|}\sum _{y_j\in y}\underset{x_i\in x}{\max }{x}_i^T{y}_j(\text{Precision})$
   $F_{\text{BERT}}=2\frac{P_{\text{BERT}}\cdot R_{\text{BERT}}}{P_{\text{BERT}}+R_{\text{BERT}}}$

Die Metrik ist flexibel: Es können verschiedene vortrainierte Modelle gewählt, Token nach ihrer Wichtigkeit gewichtet (mithilfe von IDF-Gewichten) und die Bewertungen zur besseren Interpretierbarkeit linear transformiert werden.

Anwendung und Effektivität

BERTScore wird zur Qualitätsbewertung in verschiedenen Aufgaben der Textgenerierung eingesetzt:

• Maschinelle Übersetzung: Erfasst die Beibehaltung der Bedeutung, auch wenn sich die Übersetzungsstrukturen von den Referenztexten unterscheiden.
• Automatische Zusammenfassung: Kann erkennen, dass unterschiedliche Formulierungen dieselben Schlüsselfakten vermitteln, was ihn flexibler als ROUGE macht.
• Dialogsysteme: Hilft bei der Messung der Angemessenheit einer Antwort, indem sie auf semantischer Ebene mit einer Referenz verglichen wird.

Eine von den Autoren durchgeführte umfangreiche Evaluation zeigte, dass der Korrelationskoeffizient von BERTScore mit menschlichen Bewertungen deutlich höher ist als bei Metriken wie BLEU und ROUGE. Darüber hinaus zeigte die Metrik eine erhöhte Robustheit gegenüber komplexen Fällen von Paraphrasierung.

Vorteile

• Berücksichtigung der Semantik: Vergleicht Texte auf Bedeutungsebene und berücksichtigt dabei Synonyme und Paraphrasen.
• Hohe Korrelation mit menschlichen Bewertungen: Die Bewertungen von BERTScore stimmen besser mit menschlichen Urteilen über die Textqualität überein als traditionelle Metriken.
• Universalität und Übertragbarkeit: Die Metrik ist nicht an eine bestimmte Sprache oder Aufgabe gebunden; es genügt, ein passendes vortrainiertes Modell auszuwählen.
• Kein Training erforderlich: BERTScore ist eine nicht-trainierbare Metrik, im Gegensatz zu komplexeren Metriken (wie BLEURT), die ein Vortraining auf Bewertungskorpora erfordern.
• Integration moderner Modelle: Nutzt die Leistungsfähigkeit von Transformern, um tiefe kontextuelle Merkmale zu extrahieren.

Einschränkungen und Kritik

• Hoher Rechenaufwand: Die Berechnung auf Basis von Embeddings erfordert erheblich mehr Ressourcen als das Zählen von n-grammen und benötigt oft den Einsatz von GPUs.
• Abhängigkeit vom Modell: Die Qualität der Bewertung hängt direkt von der Qualität des vortrainierten Modells ab. Die Wahl des Modells und der Schicht zur Extraktion der Embeddings beeinflusst das Ergebnis, was zu Problemen bei der Reproduzierbarkeit führen kann.
• Mangelnde Berücksichtigung von Fakten und Struktur: BERTScore konzentriert sich auf lokale semantische Ähnlichkeit und garantiert kein Verständnis der Textstruktur oder der faktischen Korrektheit. Ein Text mit vertauschten Sätzen oder sachlichen Fehlern kann eine hohe Bewertung erhalten.
• Geringe Interpretierbarkeit: Im Gegensatz zu BLEU/ROUGE ist der BERTScore-Wert weniger transparent, was die Fehleranalyse erschwert.
• Soziale Verzerrungen (Bias): Die Metrik erbt die Stereotypen und Verzerrungen (Bias), die in den vortrainierten Modellen verankert sind. Eine Studie aus dem Jahr 2022 zeigte, dass auf LLMs basierende Metriken (einschließlich BERTScore) einen deutlich größeren sozialen Bias aufweisen als traditionelle Metriken.

Bedeutung und Rolle in der Bewertung

BERTScore stellt einen wichtigen Schritt in der Entwicklung von Bewertungsmethoden für generierten Text dar, da es die Berücksichtigung semantischer Äquivalenz anstelle von rein lexikalischen Übereinstimmungen ermöglicht. Obwohl keine automatische Metrik die Textqualität perfekt messen kann, hat sich BERTScore als zuverlässiges Werkzeug etabliert, das klassische Ansätze (wie BLEU und ROUGE) ergänzt, anstatt sie vollständig zu ersetzen.

In der Praxis wird BERTScore häufig in Kombination mit manueller Begutachtung und anderen Metriken verwendet, um ein umfassenderes und tiefergehendes Verständnis dafür zu erlangen, wie erfolgreich Modelle kohärente und semantisch passende Texte generieren.

Weblinks

• Offizielles BERTScore-Repository auf GitHub