Evaluación de los LLM

Evaluación de modelos de lenguaje grandes (LLM) es una disciplina en el campo de la inteligencia artificial que proporciona métodos estandarizados para medir las capacidades, limitaciones y riesgos de los modelos de lenguaje. A medida que los LLM se integran en sectores clave como la sanidad y las finanzas, su evaluación objetiva se vuelve indispensable para garantizar la seguridad, la fiabilidad y la equidad.

La evaluación de LLM cumple varias funciones fundamentales:

• Medición de capacidades: Comparación objetiva del rendimiento de diferentes modelos en tareas estandarizadas.
• Seguimiento del progreso: Registrar los avances e identificar áreas que requieren mejoras adicionales.
• Minimización de riesgos: Identificar resultados potencialmente dañinos, como sesgos, alucinaciones y problemas de seguridad.
• Informar a desarrolladores y usuarios: Proporcionar información transparente para seleccionar el modelo más adecuado para una aplicación específica.

Enfoques y metodologías principales

La evaluación moderna de LLM comenzó con la aparición de benchmarks integrales como GLUE (General Language Understanding Evaluation), que estableció el estándar para evaluar la comprensión general del lenguaje. A medida que los modelos comenzaron a superar los resultados humanos en GLUE, se desarrollaron sucesores más complejos como SuperGLUE.

Un cambio fundamental se produjo con la introducción de benchmarks multitarea como MMLU y BIG-bench, que evalúan los modelos en una amplia gama de conocimientos y habilidades de razonamiento, yendo más allá de las tareas puramente lingüísticas.

Métricas y benchmarks clave

Métricas automáticas

• Perplejidad (Perplexity): Una métrica fundamental que mide qué tan bien un modelo predice un texto. Una perplejidad más baja indica una mayor confianza del modelo en sus predicciones.
• BLEU y ROUGE: Métricas basadas en n-gramas que miden la coincidencia léxica entre el texto generado y el de referencia. BLEU se enfoca en la precisión, mientras que ROUGE se centra en la exhaustividad (recall).
• BERTScore: Una métrica semántica que utiliza embeddings de BERT para calcular la similitud semántica. Es capaz de captar sinonimia y paráfrasis, lo que la hace más precisa que las métricas basadas en n-gramas.

Benchmarks especializados

Para evaluar capacidades específicas, se han desarrollado benchmarks específicos:

• Generación de código: HumanEval evalúa la capacidad del modelo para generar código de programación correcto a partir de una descripción textual, verificando su funcionalidad mediante pruebas unitarias.
• Sentido común: HellaSwag pone a prueba la comprensión del modelo sobre el mundo físico y las relaciones de causa y efecto a través de la predicción del final más probable para una situación cotidiana.
• Conocimiento académico: MMLU (Massive Multitask Language Understanding) abarca 57 materias, desde matemáticas elementales hasta derecho y medicina, evaluando la amplitud de la erudición del modelo.
• Límites de las capacidades: BIG-bench (Beyond the Imitation Game) es un proyecto colaborativo que reúne 204 tareas diseñadas para identificar capacidades emergentes, habilidades que aparecen de repente cuando un modelo alcanza escalas críticas.

Evaluación de la seguridad y los aspectos éticos

• Sesgo: Para evaluar los prejuicios sociales y demográficos se utilizan conjuntos de datos como BBQ (Bias Benchmark for Question Answering) y BOLD (Bias in Open-ended Language generation Dataset).
• Toxicidad: Benchmarks como RealToxicityPrompts proporcionan prompts que provocan la generación de contenido tóxico para evaluar la resistencia del modelo.
• Robustez: Se evalúa mediante ataques adversariales. El framework PromptRobust ofrece un conjunto completo de prompts para verificar la robustez del modelo a nivel de caracteres, palabras y oraciones.

Estándares y frameworks modernos

• HELM (Holistic Evaluation of Language Models): Una iniciativa de la Universidad de Stanford que propone una metodología "holística". HELM evalúa los modelos en múltiples dimensiones: precisión, robustez, equidad, sesgo, toxicidad y eficiencia.
• ISO/IEC 42001:2023: El primer estándar internacional para sistemas de gestión de IA, que establece los requisitos para la gobernanza de la IA a lo largo de todo su ciclo de vida.
• Reglamento de la UE 2024/1689 (Ley de IA de la UE): La primera regulación integral de IA, que exige evaluaciones estandarizadas para los modelos de propósito general con riesgos sistémicos.
• NIST AI Risk Management Framework 1.0: Un marco voluntario para el desarrollo y despliegue de IA confiable, desarrollado por el Instituto Nacional de Estándares y Tecnología de EE. UU.

Problemas y limitaciones de los métodos existentes

• Saturación de los benchmarks: Muchos modelos alcanzan puntuaciones casi perfectas en los benchmarks populares, lo que conduce al fenómeno de "persecución del benchmark" (benchmark chasing), donde los modelos se optimizan para pruebas específicas en lugar de para capacidades generales.
• Contaminación de datos: Un problema crítico en el que los datos de prueba de un benchmark se incluyen accidentalmente en el conjunto de entrenamiento, lo que lleva a resultados de evaluación inflados e injustos.
• Baja correlación con el juicio humano: Las métricas automáticas como BLEU y ROUGE a menudo tienen una baja correlación con la evaluación de calidad humana, especialmente en tareas creativas y de final abierto.

Investigaciones y tendencias actuales

• El paradigma LLM-as-a-Judge: El uso de LLM potentes (por ejemplo, GPT-4) como "jueces" para evaluar las respuestas de otros modelos. Este enfoque proporciona una alternativa escalable a la costosa evaluación humana.
• Evaluación dinámica y adaptativa: Plataformas como LMArena introducen un sistema de crowdsourcing con calificaciones Elo para la evaluación en tiempo real de modelos en interacción directa con los usuarios.
• Enfoques híbridos: Combinación de métricas automatizadas con el juicio humano y la evaluación por LLM para obtener una visión más completa y fiable del rendimiento del modelo.

El panorama de la evaluación de LLM continúa evolucionando, avanzando hacia la creación de frameworks multidimensionales, estandarizados y reproducibles que consideran no solo la precisión, sino también los aspectos sociales y éticos de la aplicación de las tecnologías de IA.

Enlaces

• Stanford HELM — Sitio web oficial del proyecto Holistic Evaluation of Language Models.
• Chatbot Arena — Plataforma para la evaluación comparativa de chatbots basada en las preferencias humanas.

Bibliografía

• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv:1804.07461.
• Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv:1905.00537.
• Zellers, R. et al. (2019). HellaSwag: Can a Machine Really Finish Your Sentence?. arXiv:1905.07830.
• Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. arXiv:2009.11462.
• Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
• Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
• Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
• Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
• Bommasani, R. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Zhuang, Y. et al. (2023). Through the Lens of Core Competency: Survey on Evaluation of Large Language Models. ACL Anthology:2023.ccl-2.8.
• Zhu, K. et al. (2023). PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts. arXiv:2306.04528.