Chain-of-Verification (ES)

Chain-of-Verification (CoVe) es un método propuesto para reducir el número de alucinaciones (la generación de respuestas factualmente incorrectas pero plausibles) en los grandes modelos de lenguaje (LLM). El enfoque, desarrollado por un grupo de investigadores de Meta AI bajo la dirección de Shehzaad Dhuliawala y presentado en el trabajo «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023), pertenece a la clase de métodos de autoverificación y autocorrección (self-verification) de los LLM. La idea principal de CoVe consiste en una verificación por etapas de la respuesta generada por el propio modelo, sin recurrir a fuentes externas. Esto incentiva al sistema a dedicar más esfuerzos "razonables" a autoanalizar la respuesta y corregir sus propios errores antes de presentarla al usuario.

Contexto: alucinaciones en los modelos de lenguaje

Los grandes modelos de lenguaje (LLM) a menudo sufren del fenómeno de las «alucinaciones», es decir, la generación de respuestas que parecen plausibles pero son factualmente incorrectas. Este problema es ampliamente reconocido como un desafío no resuelto en el campo del PLN: incluso los modelos más modernos pueden proporcionar información falsa con alta confianza, induciendo a error a los usuarios. Por ejemplo, un modelo puede «inventar» de manera convincente un hecho inexistente o confundir datos biográficos de una personalidad conocida. Dado que estos errores fácticos son difíciles de detectar sin una verificación detallada, los investigadores están desarrollando activamente métodos para reducir el número de alucinaciones en las respuestas de los LLM.

Etapas del método CoVe

El método Chain-of-Verification se implementa a través de cuatro pasos consecutivos:

1. Generación de la respuesta base. El modelo genera una respuesta inicial a la consulta original sin instrucciones especiales (hipótesis de respuesta base). Este borrador sirve como punto de partida y puede contener alucinaciones que serán detectadas en los siguientes pasos.
2. Planificación de preguntas de verificación. Teniendo la pregunta original y la respuesta generada, el modelo formula una lista de preguntas de aclaración que verifican la corrección fáctica de las afirmaciones en la respuesta base. Estas preguntas de verificación (verification questions) se centran en los hechos clave de la respuesta y ayudan a identificar posibles errores o imprecisiones.
3. Ejecución de la verificación. A continuación, el modelo responde de manera secuencial e independiente a cada una de las preguntas de verificación formuladas, intentando no basarse en la respuesta inicial para evitar sesgos. Las respuestas obtenidas se comparan con la respuesta original para detectar contradicciones o errores: de esta manera se identifican las partes de la respuesta inicial que no se confirman con los hechos.
4. Formulación de la respuesta final. Finalmente, basándose en las discrepancias encontradas, el modelo genera una respuesta final corregida. En esta respuesta se introducen ajustes teniendo en cuenta los resultados de la verificación, lo que aumenta su precisión fáctica y reduce la probabilidad de alucinaciones.

Cada una de estas etapas se realiza mediante consultas adicionales al mismo LLM, pero con diferentes instrucciones. Es decir, el modelo actúa sucesivamente como respondedor, luego como verificador (haciendo preguntas y respondiéndolas) y finalmente como editor de la conclusión final.

Variantes de implementación de la verificación

Los autores del método probaron varios modos de implementación para el paso de verificación, que difieren en la forma en que se formulan y reciben las respuestas a las preguntas de verificación:

• Enfoque combinado (Joint). El modelo genera tanto las preguntas de verificación como las respuestas a ellas en una sola consulta. Esta variante es menos preferible, ya que el modelo, al responder de inmediato, puede alucinar hechos y repetir los errores de la respuesta original debido al sesgo.
• Enfoque de dos pasos (2-Step). Las preguntas de verificación se generan primero con una consulta separada, y luego, en la siguiente consulta, el modelo responde a la lista de preguntas formulada. La separación de las etapas ayuda a evitar la influencia de la respuesta original al generar las preguntas.
• Verificación por separado (Factored). El modelo responde por separado a cada una de las preguntas de verificación, utilizando múltiples consultas secuenciales (una por pregunta). Este enfoque evita la simple copia de fragmentos de la respuesta original: las respuestas a las preguntas de verificación se formulan de manera autónoma, lo que reduce el riesgo de repetir la alucinación inicial. La desventaja es el aumento del costo computacional, ya que el número de consultas crece proporcionalmente al número de preguntas.
• Verificación por separado con revisión (Factored + Revise). Después de obtener las respuestas a todas las preguntas de verificación, el modelo realiza una etapa adicional de comparación y revisión. Mediante una consulta separada, compara los hechos obtenidos con la respuesta original y marca explícitamente las inconsistencias, tras lo cual genera la respuesta final con las correcciones. Este paso adicional obliga al sistema a analizar más detenidamente las discrepancias e integrar la información corregida en la conclusión final.

Resultados experimentales

El método Chain-of-Verification fue probado en una serie de tareas sensibles a la precisión fáctica de las respuestas. Entre ellas se encontraban: preguntas de enumeración de hechos de una base de conocimiento (listas de Wikidata y categorías de Wikipedia), preguntas con múltiples respuestas de diferentes partes de un texto (MultiSpanQA), y tareas de generación de texto largo (por ejemplo, biografías).

Los resultados mostraron una reducción significativa de las alucinaciones en todos los tipos de tareas al usar CoVe en comparación con los modelos originales sin autoverificación. La variante factored + revise (verificación por separado con una revisión final de los hechos) resultó especialmente efectiva. Este enfoque obtuvo los mejores indicadores de precisión: por ejemplo, en la tarea de generación de texto biográfico, la aplicación de CoVe al modelo LLaMA-65B (un LLM de 65 mil millones de parámetros) aumentó su métrica factual FactScore de ~63,7 a ~71,4 puntos. El aumento del FactScore indica que las respuestas finales contenían más hechos verificados y menos información inventada.

Además, un LLM con la cadena de verificación conectada logró superar incluso a algunos sistemas más potentes o especialmente equipados. Así, LLAMA-65B con CoVe mostró un FactScore más alto que ChatGPT (el modelo de OpenAI) y superó a Perplexity.ai — un modelo complementado con búsqueda en internet para el soporte fáctico de sus respuestas. Esto es notable, ya que Perplexity utiliza fuentes externas para buscar información, mientras que CoVe logra mejorar la calidad basándose únicamente en las capacidades internas del propio modelo para razonar y autoverificarse. Es cierto que en los hechos más raros (cuando se requieren conocimientos específicos), un sistema de recuperación como Perplexity todavía mantiene una ventaja, pero en la mayoría de las preguntas, CoVe proporcionó respuestas más precisas.

Limitaciones y perspectivas

Cabe señalar que, aunque Chain-of-Verification reduce notablemente la proporción de alucinaciones, este método no es capaz de eliminarlas por completo. El modelo aún puede cometer errores si las preguntas de verificación no cubrieron algún detalle incorrecto o si el propio LLM no conoce el hecho correcto. Además, CoVe aumenta la carga computacional: para una única consulta del usuario, se requieren varias llamadas secuenciales al modelo (generación de la respuesta, generación de preguntas, respuestas a ellas, ensamblaje final), mientras que un modelo normal responde en un solo paso. Sin embargo, los autores demuestran que, en términos de costo total, CoVe es comparable a otros enfoques multietapa para la detección de alucinaciones y sigue siendo una solución práctica.

En su trabajo, los investigadores de Meta AI señalaron posibles direcciones para mejorar el método. Una vía obvia es combinar CoVe con el uso de herramientas externas, por ejemplo, conectando un módulo de búsqueda en internet o bases de conocimiento en la etapa de verificación. Esto permitiría obtener información fiable de fuentes externas y confirmar o refutar los hechos de la respuesta original de manera aún más robusta. Así, Chain-of-Verification representa un paso hacia sistemas de IA más responsables y precisos: demuestra que al obligar al modelo a revisar críticamente su propia respuesta, es posible mejorar significativamente su calidad y reducir la difusión de hechos inventados en el texto generado.

Enlaces

• Artículo original «Chain-of-Verification Reduces Hallucination in Large Language Models» en arXiv
• Artículo «Chain-of-Verification Reduces Hallucination in Large Language Models» en ACL Anthology
• Chain of Verification (CoVe) — Understanding & Implementation — un artículo en Medium

Bibliografía

• Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
• Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Lightman, H. et al. (2023). Let’s Verify Step by Step. arXiv:2305.20050.
• Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.