LLM cost optimization — 优化LLM使用成本
优化大型语言模型（LLM）使用成本是一套旨在降低训练、微调（fine-tuning）以及特别是推理（inference）大型语言模型所需计算和财务资源的策略与技术方法。该领域之所以重要，是因为LLM的开发和运营成本都极其高昂。
例如，据估计，在云GPU基础设施上训练拥有1750亿参数的GPT-3模型，成本约为460万美元[1]，并需要130万千瓦时的电力[2]。然而，主要成本通常来自推理阶段。据估计，2023年初维持ChatGPT服务的每日运营成本约为70万美元（约合每次查询$0.0036），这数倍于一次性的训练成本[3]。
在训练和模型选择阶段的优化
有效的成本管理始于推理阶段之前的基本决策。
缩放法则：模型大小 vs. 数据量
在理解LLM训练经济学方面，一个关键的突破是DeepMind研究人员在2022年提出的Chinchilla缩放法则。他们指出，为了以最佳方式利用计算预算，模型应在比以往大得多的数据集上进行训练[4]。
过去通常认为，性能的提升主要依赖于参数数量的增加。然而，Chinchilla的研究表明，使用1.4万亿个token训练的Chinchilla模型（700亿参数）在质量上优于仅使用约3000亿个token训练的、规模大得多的GPT-3模型（1750亿参数）[5]。推荐的比例是每个模型参数对应大约20个token的训练数据。这种方法可以创建更紧凑、更高效的模型，从而降低训练和后续推理的成本。
微调 (Fine-tuning) 及其效率
相较于从头开始进行成本高昂的模型训练，对现有的开源模型（如LLaMA、Falcon系列）进行微调（fine-tuning）已成为越来越普遍的做法。为了进一步降低成本，人们开始采用参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）的方法。
最流行的方法LoRA（Low-Rank Adaptation），通过仅更新少量附加参数来适配模型。研究表明，在对质量影响微乎其微的情况下，LoRA可以将微调成本降低数十个百分点（在某些场景下可达约68%）[6]。
Model Compression - 模型压缩
优化的一个重要方向是在保持模型性能的同时，减小其物理尺寸。
Knowledge Distillation - 知识蒸馏
知识蒸馏是一个过程，其中一个大型且强大的“教师”模型被用来训练一个更紧凑的“学生”模型。学生模型通过在广泛的数据集上模仿教师的输出来学习，从而继承其“知识”。这种方法可以在特定任务上以显著降低的成本实现相当的质量。例如，DeepSeek-R1模型成功地从6710亿参数蒸馏到700亿甚至15亿参数，对于许多应用而言，质量损失在可接受范围内[7]。
Quantization - 量化
量化是降低用于表示模型权重的数值精度的过程。它使用8位甚至4位整数来代替标准的32位或16位浮点数。
- 8位量化可将模型大小减小约50%，而准确率损失约为1%。
- 4位量化可将模型大小减小75%，同时保持具有竞争力的推理质量[7]。
在硬件（如Nvidia的新款GPU）和软件库（如TensorRT）的支持下，量化可以将推理速度提高2至4倍[8]。
在推理阶段的优化
当模型训练完成并部署后，主要开销来自于其日常使用。
Batching - 批处理
批处理是将多个用户请求合并到一个“批次”（batch）中，以便在GPU上同时处理。这显著提高了硬件利用率和整体吞吐量。对于LLM这类逐个token生成回答的场景，连续批处理（continuous/in-flight batching）最为高效。该方法允许在批次中某些请求完成时，动态地将新请求加入，从而消除空闲时间，最大化GPU负载[9]。
KV Cache - 键值缓存
在Transformer模型中，生成每个新token都需要所有先前token的信息。为避免计算量呈指数级增长，采用了键值缓存（KV Cache）技术。系统会保存已处理上下文的注意力机制的中间计算结果，并重复使用它们，这使得长序列和多轮对话的生成效率大大提高[7]。
优化注意力机制
存储KV缓存需要大量内存。为了减少内存占用，已开发出多种优化的注意力机制变体：
- Multi-Query Attention (MQA): 所有注意力头共享同一组键（key）和值（value）。
- Grouped-Query Attention (GQA): 一种折中方案，将注意力头分组，每组共享同一组键和值。
Meta公司在LLaMA 2模型中成功应用了GQA，从而在处理长上下文时显著提高了推理效率，且未造成明显的质量损失[10]。
优化基础设施和系统架构
Hybrid systems and Retrieval-Augmented Generation (RAG) - 混合系统与检索增强生成 (RAG)
并非所有任务都需要最大、最强的模型。混合或级联方法是指先使用一个小型、廉价的模型处理简单请求，仅当其处理失败或任务复杂时，才将请求转交给大型、昂贵的模型。
这种方法中一个非常高效的特例是检索增强生成（Retrieval-Augmented Generation, RAG）。在这种架构中，LLM可以相对紧凑，因为它利用从外部知识库（例如公司文档或搜索引擎）获取的最新信息来生成回答。这不仅降低了对模型大小的要求，还解决了“幻觉”问题。在本地基础设施上部署一个专门的700亿参数RAG模型，其成本可能比在云端使用GPT-4 API便宜2到4倍[11]。
注释
- ↑ “OpenAI's GPT-3 Language Model: A Technical Overview”. Lambda Labs. [1]
- ↑ “The Energy Footprint of Humans and Large Language Models”. Communications of the ACM. [2]
- ↑ “The Inference Cost Of Search Disruption - Large Language Model Cost Analysis”. SemiAnalysis. [3]
- ↑ Hoffmann, J., et al. (2022). “Training Compute-Optimal Large Language Models”. arXiv:2203.15556.
- ↑ Chow, T. (2024). “Three Kuhnian Revolutions in ML Training”. Substack. [4]
- ↑ “A Study to Evaluate the Impact of LoRA Fine-tuning on the Performance of Non-functional Requirements Classification”. arXiv:2503.07927. (2025).
- ↑ 7.0 7.1 7.2 “LLM Inference Optimization: How to Speed Up, Cut Costs, and Scale AI Models”. deepsense.ai. [5]
- ↑ Jin, H., et al. (2024). “GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers”.
- ↑ “Continuous vs dynamic batching for AI inference”. Baseten Blog. [6]
- ↑ “What is grouped query attention?”. IBM. [7]
- ↑ “Inferencing on-premises with Dell Technologies”. Dell Technologies Analyst Paper. [8]