MATH Benchmark — MATH 基准测试
MATH（英文 Mathematics Aptitude Test of Heuristics 的缩写）是一个大型数据集和基准测试，用于评估大型语言模型（LLM）的数学推理和问题解决能力。该数据集由丹·亨德里克斯（Dan Hendrycks）领导的研究团队于2021年发布，包含12,500个问题，这些问题来自美国高中数学竞赛，如AMC 10、AMC 12和AIME[1]。
这些问题涵盖了广泛的领域（代数、几何、数论、组合数学等），并按难度级别进行分级。与标准的教科书问题不同，这些问题通常需要创造性思维和启发式方法，而不仅仅是直接套用公式。每个问题都附有完整的逐步解答和最终答案，这使得MATH成为一个既可用于模型训练也可用于模型测试的宝贵资源[2]。
数据集的结构与特点
MATH基准测试具有一系列关键特点，使其成为一个具有挑战性且可靠的评估工具。
问题格式
所有问题和解答均以LaTeX格式呈现，几何图形的描述则使用Asymptote语言。这种方式使得所有条件（包括图像）都能以文本形式表示，便于语言模型处理。每个问题都根据七个数学领域和五个难度级别进行了标记[1]。
自动评估
数据集中的最终答案被包含在特殊的`\boxed{...}`格式中，并遵循严格的标准（例如，分数为最简形式）。这使得可以根据精确匹配（exact match）指标对模型进行自动评估，从而消除了结果检查中的主观性和模糊性。模型必须给出完全正确的答案，问题才被视为已解决[1]。
问题难度与人类水平
MATH是AI面临的最具挑战性的数学测试之一。这些问题即使对于数学背景很强的人来说也很有难度。
- 在对该数据集的研究中，一组大学生的测试成绩从约40%到奥林匹克竞赛获胜者的约90%不等。
- 即便是三届国际数学奥林匹克金牌得主也未能零错误地解决所有问题[1]。
这表明，要成功解决MATH中的问题，不仅需要知识，还需要高度的精确性和数学直觉。
模型表现与解题进展
早期结果 (2021)
在2021年该基准测试发布时，即使是规模最大的模型也表现得非常差。
- GPT-3模型（1750亿参数）仅能正确解决约5%的问题。
- 经过微调的GPT-2版本准确率也只有6-7%[1]。
作者们得出结论，简单地扩大模型规模对性能几乎没有影响，需要新的算法方法才能取得进展[3]。
Minerva与GPT-4的突破 (2022–2023)
随着专门针对科学文本进行训练的模型以及新的解题方法的出现，突破得以实现。
- 2022年，Google Minerva模型达到了约50%的准确率，证明了规模与专业化训练相结合可以显著提升解题质量[3]。
- 2023年，OpenAI的GPT-4实现了新的飞跃。通过使用工具，该模型显著提升了其表现：
- 使用代码解释器（Code Interpreter，执行代码以验证计算）时，准确率达到了近70%。
- 采用基于代码的自我验证（code-based self-verification，通过代码自我检查和纠正错误）方法，创造了解决84.3%问题的记录[4]。
这一结果可与人类顶尖参赛者的水平相媲美，并已接近专家级门槛。
意义与影响
MATH基准测试在LLM数学能力的发展中扮演了关键角色。它清晰地表明，要解决复杂问题，仅靠扩大模型规模是不够的，还需要新的方法，例如：
- 基于完整的逐步解题过程进行训练。
- 在科学数据上进行专业化训练。
- 使用外部工具进行计算和验证。
尽管取得了显著进展，MATH仍然是一项重要且具有挑战性的测试。它继续作为衡量LLM数学思维水平的指标，并推动着在需要多步推理的可靠问题解决领域的研究[1]。
链接
参考文献
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
注释
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv:2103.03874. [1]
- ↑ «AI Benchmarks and Datasets for LLM Evaluation». arXiv:2412.01020. [2]
- ↑ 3.0 3.1 «Language models surprised us». Planned-Obsolescence.org. [3]
- ↑ «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». The Decoder. [4]