MT-Bench (benchmark) (ES)

MT-Bench (abreviatura del inglés Multi-Turn Benchmark, «benchmark de múltiples turnos») es un conjunto de tareas de prueba de referencia (benchmark) para evaluar grandes modelos de lenguaje (LLM) en condiciones de diálogo de múltiples turnos. El benchmark fue propuesto en 2023 por un equipo de investigadores de LMSYS (liderado por Lianmin Zheng) como parte del método LLM-as-a-Judge («LLM como juez») para la comparación objetiva de la calidad de los chatbots.

A diferencia de las pruebas tradicionales de un solo turno (como MMLU), MT-Bench evalúa la capacidad de los modelos para mantener un diálogo de múltiples etapas, procesar secuencialmente nuevas entradas y seguir con precisión las instrucciones del usuario. El objetivo es una evaluación más realista del rendimiento de los chatbots en escenarios complejos, enfocada en la alineación con las preferencias humanas y los requisitos prácticos de los sistemas conversacionales.

Antecedentes de su creación

El desarrollo de modelos LLM conversacionales, como ChatGPT, GPT-4 y Vicuna, reveló una brecha entre las métricas de calidad tradicionales y la percepción real de los usuarios sobre las respuestas. Se observó que la mejora de un modelo en términos de alineación con las instrucciones humanas (a través de RLHF) no siempre se traducía en mejores puntuaciones en los benchmarks antiguos de un solo turno. Pruebas como MMLU o HELM a menudo no distinguen entre los chatbots mejorados («alineados») y sus modelos base. Esto evidencia la limitación de las metodologías anteriores, que no reflejan la calidad de la interacción de múltiples turnos ni de las instrucciones de formato abierto.

MT-Bench surgió como respuesta a este problema, proponiendo un conjunto de preguntas de tipo abierto en formato de diálogo que se centra en dos aspectos: 1. La capacidad del modelo para mantener una conversación coherente a lo largo de varios pasos (turns). 2. El seguimiento preciso de instrucciones complejas del usuario.

Estructura y contenido del benchmark

MT-Bench consta de 80 escenarios de diálogo de múltiples turnos cuidadosamente seleccionados, que abarcan diversos tipos de tareas. Cada escenario incluye una serie de intercambios entre el usuario y el modelo, evaluando la capacidad de este último para mantener el contexto y adaptarse a nuevas entradas. Los diálogos están agrupados en 8 categorías de tareas:

• Writing (escritura) — evalúa habilidades creativas (por ejemplo, escribir una entrada de blog).
• Roleplay (juego de roles) — simulación de diálogos en roles específicos.
• Extraction (extracción de información) — capacidad para extraer hechos de un contexto proporcionado.
• Reasoning (razonamiento lógico) — resolución de problemas que requieren pensamiento lógico.
• Math (matemáticas) — resolución de problemas matemáticos.
• Coding (programación) — escritura o depuración de código.
• STEM (ciencia, tecnología, ingeniería y matemáticas) — preguntas de áreas de ciencias naturales y tecnología.
• Humanities (humanidades) — preguntas sobre historia, literatura y ciencias sociales.

Cada categoría contiene 10 tareas de diálogo. Las tareas incluyen deliberadamente continuaciones capciosas (por ejemplo, preguntas aclaratorias repentinas) para poner a prueba el modelo en una conversación condicionalmente «real».

Metodología de evaluación: LLM-as-a-Judge

La característica clave de MT-Bench es el uso de un modelo de lenguaje potente como juez para la evaluación automatizada de las respuestas (LLM-as-a-Judge). En el trabajo original, el modelo GPT-4 desempeñó este papel.

El procedimiento de evaluación se estructura de la siguiente manera: 1. Para cada escenario de diálogo, varios modelos participantes generan respuestas. 2. El modelo-juez (GPT-4) compara estas respuestas (en formato de comparación por pares o evaluación en una escala de puntos) y emite un veredicto sobre cuál es preferible.

El juicio automatizado reemplaza el laborioso etiquetado manual. Los investigadores demostraron que las evaluaciones de GPT-4 como juez tienen una coincidencia de más del 80 % con los resultados de expertos humanos, lo cual es comparable a la concordancia entre los propios humanos. Esto demuestra la fiabilidad del método y la posibilidad de escalar las evaluaciones sin la participación directa de personas. Para aumentar la objetividad, se consideraron y mitigaron los posibles sesgos del modelo-juez, como el sesgo posicional (preferencia por la primera respuesta), el sesgo de verbosidad (preferencia por la respuesta más larga) y el sesgo de autopromoción (lealtad a respuestas con su propio estilo).

Resultados y aplicación

MT-Bench permitió identificar diferencias notables en la calidad de los modelos contemporáneos. En las categorías de razonamiento lógico, matemáticas y programación, GPT-4 superó significativamente a versiones anteriores (como GPT-3.5). Esto confirmó que los modelos más grandes son mejores para mantener el contexto a lo largo de varios turnos de diálogo.

Para el uso práctico de los resultados, el equipo de LMSYS lanzó una tabla de clasificación pública (leaderboard), donde los modelos se clasifican según su puntuación media en MT-Bench y su clasificación Elo de la Chatbot Arena. Esta clasificación se actualiza regularmente, reflejando el progreso en la industria. El conjunto de datos y el código para ejecutarlo se publicaron en acceso abierto, lo que permite a los desarrolladores independientes probar sus propios modelos.

Limitaciones y críticas

A pesar de su exitosa aplicación, MT-Bench y el enfoque LLM-as-a-Judge tienen varias limitaciones:

• Imperfección del juez. El modelo-juez (por ejemplo, GPT-4) no es infalible: no siempre reconoce errores factuales o alucinaciones en las respuestas de los modelos evaluados.
• Dificultades en la evaluación de la lógica y las matemáticas. Un juez-LLM puede no ser capaz de seguir completamente un razonamiento complejo o verificar una demostración, lo que puede llevar a errores en la evaluación.
• Sesgos (Biases). A pesar de las medidas para mitigarlos, el modelo-juez puede mantener un sesgo hacia un estilo o formato de respuesta particular.

Estos aspectos implican que en aplicaciones de misión crítica, la supervisión humana o métodos de evaluación combinados siguen siendo deseables.

Desarrollo y extensiones

El éxito de MT-Bench estimuló la aparición de versiones extendidas. En 2024, se propuso la metodología MT-Bench-101, orientada a un análisis aún más detallado de las capacidades de los modelos en el diálogo. Los autores crearon una taxonomía de habilidades de tres niveles y recopilaron un conjunto de datos considerablemente más grande, lo que permitió identificar diferencias sutiles en el comportamiento de los modelos en diferentes etapas del diálogo.

Enlaces

• Repositorio oficial con los datos de MT-Bench en GitHub

Bibliografía

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.