ROUGE (metric) (PT)

ROUGE (acrônimo do inglês Recall-Oriented Understudy for Gisting Evaluation — "Substituto Orientado a Recall para Avaliação de Resumos") é um conjunto de métricas automáticas para avaliar a qualidade de resumos de texto (sumários) gerados por sistemas. A avaliação é realizada comparando o resumo gerado automaticamente com um ou mais resumos de referência, criados por humanos.

Inicialmente, a métrica foi desenvolvida para tarefas de sumarização automática de texto, mas também é aplicada na avaliação da qualidade da tradução automática. Diferentemente da métrica BLEU, que avalia a precisão (precision), ROUGE foca na abrangência (recall) — ela indica qual parte dos fragmentos significativos do resumo de referência foi reproduzida no texto gerado.

O conjunto de métricas ROUGE foi proposto em 2004 pelo pesquisador Chin-Yew Lin do Instituto de Ciências da Informação da Universidade do Sul da Califórnia. As métricas ROUGE tornaram-se o padrão de fato para a avaliação de algoritmos de sumarização, especialmente após seu uso em grandes competições como a DUC (Document Understanding Conference).

Principais variantes das métricas ROUGE

A família ROUGE inclui várias métricas relacionadas, cada uma medindo a sobreposição de conteúdo com base em diferentes critérios:

• ROUGE-N: Mede a sobreposição de n-gramas (sequências de n palavras).
  • ROUGE-1 calcula a sobreposição de unigramas (palavras individuais).
  • ROUGE-2 calcula a sobreposição de bigramas (pares de palavras consecutivas).

• ROUGE-L: Baseada na subsequência comum mais longa (Longest Common Subsequence, LCS) entre o resumo gerado e o de referência. Essa métrica considera a correspondência no nível da estrutura da frase, pois mede a sequência mais longa de palavras que aparecem na mesma ordem, mas não necessariamente de forma contígua.

• ROUGE-W: Uma modificação da ROUGE-L (Weighted LCS), que atribui um peso maior às subsequências comuns compostas por palavras consecutivas, incentivando a correspondência contínua de frases.

• ROUGE-S e ROUGE-SU: Métricas baseadas na correspondência de skip-bigrams (bigramas com saltos). Um skip-bigram é qualquer par de palavras que ocorre em ambos os textos na mesma ordem, mas não necessariamente de forma contígua. Isso permite considerar correspondências com lacunas entre as palavras.
  • ROUGE-SU é uma extensão da ROUGE-S que também considera a correspondência de unigramas, para evitar uma pontuação zero em resumos sem pares de palavras correspondentes.

Cada uma das métricas pode ser calculada em termos de abrangência (recall), precisão (precision) ou sua média harmônica (F-measure). Tradicionalmente, para tarefas de sumarização, a ênfase é colocada na abrangência (recall da ROUGE-N), pois é importante que o modelo extraia o máximo possível de informação-chave do texto original.

Aplicação e relevância

As métricas ROUGE tornaram-se uma ferramenta padrão para a avaliação objetiva de algoritmos de sumarização. Desde meados dos anos 2000, praticamente todas as competições de sumarização automática (como DUC e TAC) utilizaram ROUGE para classificar os sistemas. A popularidade da métrica se deve à sua simplicidade e eficácia comprovada: a sobreposição de n-gramas provou ser um indicador suficientemente confiável para refletir o conteúdo de um resumo.

Com o surgimento de modelos de redes neurais e LLMs, o papel da ROUGE foi mantido, mas sua interpretação tornou-se mais complexa. Modelos modernos geram resumos de tão alta qualidade que as métricas tradicionais podem atingir um "teto" e ter dificuldade em distinguir nuances de qualidade, o que estimulou o desenvolvimento de novos métodos de avaliação.

Limitações e críticas

Apesar de sua popularidade, a ROUGE possui limitações conhecidas:

• Natureza superficial: A métrica baseia-se apenas na correspondência lexical e não consegue avaliar a equivalência semântica. Ela pode subestimar um bom resumo se este utilizar sinônimos ou paráfrases.
• Ignora a qualidade do texto: A ROUGE não avalia a correção gramatical, a coerência ou a legibilidade do texto. Um modelo pode obter uma pontuação alta simplesmente repetindo fragmentos importantes do texto de referência, mesmo que o texto resultante seja incoerente.
• Dependência do resumo de referência: A qualidade da avaliação depende diretamente da qualidade e da completude do resumo de referência. Se o resumo de referência for mal escrito, a avaliação não será confiável.
• Não avalia a veracidade dos fatos: A métrica não consegue verificar a precisão factual. Um resumo pode obter uma alta pontuação ROUGE, mas conter fatos incorretos se eles foram copiados da fonte, e não do texto de referência.

Alternativas e abordagens modernas

As limitações da ROUGE levaram ao desenvolvimento de métodos de avaliação alternativos:

• Métricas orientadas à semântica: Buscam medir a similaridade no nível do significado, em vez da correspondência exata de palavras. Exemplos incluem o BERTScore, que compara as representações vetoriais (embeddings) dos textos gerado e de referência.
• Métricas combinadas: Combinam critérios lexicais e semânticos. Por exemplo, a abordagem ROUGE-SEM complementa a ROUGE clássica com um módulo de similaridade semântica baseado em embeddings para avaliar melhor textos parafraseados.
• Métricas baseadas em LLMs: Abordagens modernas em que modelos poderosos (como o GPT) são usados como "juízes" para avaliar a qualidade de resumos com base em múltiplos critérios, imitando a avaliação de um especialista humano.

Em conclusão, a ROUGE se estabeleceu como uma ferramenta simples e eficaz para a avaliação de sumarizações automáticas. Apesar do surgimento de métricas mais sofisticadas, a ROUGE, com todas as suas desvantagens, permanece uma ferramenta básica indispensável no arsenal dos pesquisadores de NLP.

Links

• Artigo original de Chin-Yew Lin sobre ROUGE (2004)