ROUGE (métrique)

ROUGE (acronyme de l'anglais Recall-Oriented Understudy for Gisting Evaluation — « Évaluateur de substitution axé sur le rappel pour l'évaluation de résumés ») est un ensemble de métriques automatiques pour évaluer la qualité des résumés de texte (synthèses) générés par des systèmes. L'évaluation est effectuée en comparant un résumé généré automatiquement avec un ou plusieurs résumés de référence créés par des humains.

Initialement, cette métrique a été conçue pour les tâches de résumé automatique de texte, mais elle est également utilisée pour évaluer la qualité de la traduction automatique. Contrairement à la métrique BLEU, qui évalue la précision (precision), ROUGE se concentre sur le rappel (recall) — elle mesure quelle proportion des fragments pertinents du résumé de référence a été reproduite dans le texte généré.

L'ensemble de métriques ROUGE a été proposé en 2004 par le chercheur Chin-Yew Lin de l'Institut des sciences de l'information de l'Université de Californie du Sud. Les métriques ROUGE sont devenues la norme de facto pour l'évaluation des algorithmes de résumé, notamment après leur utilisation dans des compétitions majeures telles que la DUC (Document Understanding Conference).

Principales variantes des métriques ROUGE

La famille ROUGE comprend plusieurs métriques associées, chacune mesurant le chevauchement de contenu selon différents critères :

• ROUGE-N : Mesure le chevauchement de n-grammes (séquences de n mots).
  • ROUGE-1 calcule le chevauchement d'unigrammes (mots uniques).
  • ROUGE-2 calcule le chevauchement de bigrammes (paires de mots consécutifs).

• ROUGE-L : Basée sur la plus longue sous-séquence commune (Longest Common Subsequence, LCS) entre le résumé généré et le résumé de référence. Cette métrique prend en compte la coïncidence au niveau de la structure de la phrase, car elle mesure la plus longue séquence de mots apparaissant dans le même ordre, mais pas nécessairement de manière contiguë.

• ROUGE-W : Une modification de ROUGE-L (Weighted LCS) qui attribue un poids plus élevé aux sous-séquences communes composées de mots consécutifs, favorisant ainsi les correspondances de phrases continues.

• ROUGE-S et ROUGE-SU : Métriques basées sur le chevauchement de skip-bigrammes (skip-bigrams). Un skip-bigramme est une paire de mots qui apparaît dans les deux textes dans le même ordre, mais pas nécessairement de manière consécutive. Cela permet de prendre en compte les correspondances avec des omissions entre les mots.
  • ROUGE-SU est une extension de ROUGE-S qui prend également en compte le chevauchement d'unigrammes pour éviter un score nul pour les résumés sans paires de mots correspondantes.

Chacune de ces métriques peut être calculée en termes de rappel (recall), de précision (precision) ou de leur moyenne harmonique (score F). Traditionnellement, pour les tâches de résumé, l'accent est mis sur le rappel (rappel ROUGE-N), car il est crucial que le modèle extraie autant d'informations clés que possible du texte source.

Application et importance

Les métriques ROUGE sont devenues un outil standard pour l'évaluation objective des algorithmes de résumé. Depuis le milieu des années 2000, presque toutes les compétitions de résumé automatique (telles que DUC et TAC) ont utilisé ROUGE pour classer les systèmes. La popularité de la métrique s'explique par sa simplicité et son efficacité prouvée : le chevauchement de n-grammes s'est avéré être un indicateur suffisamment fiable pour refléter le contenu d'un résumé.

Avec l'émergence des modèles de réseaux de neurones et des LLM, le rôle de ROUGE a perduré, mais son interprétation est devenue plus complexe. Les modèles modernes génèrent des résumés de si haute qualité que les métriques traditionnelles peuvent atteindre un « plafond » et peinent à distinguer les nuances de qualité, ce qui a stimulé le développement de nouvelles méthodes d'évaluation.

Limites et critiques

Malgré sa popularité, ROUGE présente des limites connues :

• Caractère superficiel : La métrique repose uniquement sur la correspondance lexicale et ne peut pas évaluer l'équivalence sémantique. Elle peut sous-évaluer un bon résumé si celui-ci utilise des synonymes ou des paraphrases.
• Ignorance de la qualité du texte : ROUGE n'évalue pas la correction grammaticale, la cohérence ou la lisibilité du texte. Un modèle peut obtenir un score élevé en se contentant de répéter des fragments importants de la référence, même si le texte final est incohérent.
• Dépendance au résumé de référence : La qualité de l'évaluation dépend directement de la qualité et de l'exhaustivité du résumé de référence. Si la référence est mal rédigée, l'évaluation ne sera pas fiable.
• Absence de vérification des faits : La métrique est incapable de vérifier l'exactitude factuelle. Un résumé peut obtenir un score ROUGE élevé tout en contenant des faits incorrects s'ils ont été copiés de la source plutôt que de la référence.

Alternatives et approches modernes

Les limites de ROUGE ont encouragé le développement de méthodes d'évaluation alternatives :

• Métriques orientées sémantiquement : Elles visent à mesurer la similarité au niveau du sens plutôt que la correspondance exacte des mots. On peut citer par exemple BERTScore, qui compare les représentations vectorielles (embeddings) des textes générés et de référence.
• Métriques combinées : Elles associent des critères lexicaux et sémantiques. Par exemple, l'approche ROUGE-SEM complète le ROUGE classique avec un module de similarité sémantique basé sur les embeddings pour mieux évaluer les textes paraphrasés.
• Métriques basées sur les LLM : Des approches modernes où de puissants modèles (comme GPT) sont utilisés comme « juges » pour évaluer la qualité des résumés selon plusieurs critères, imitant ainsi l'évaluation d'un expert humain.

En conclusion, ROUGE s'est imposée comme un outil simple et efficace pour l'évaluation des résumés automatiques. Malgré l'émergence de métriques plus sophistiquées, ROUGE, avec toutes ses lacunes, demeure un outil de base indispensable dans l'arsenal des chercheurs en TALN.

Liens

• Article original de Chin-Yew Lin sur ROUGE (2004)