高效大模型推理服务综述：从KV缓存、批处理到多GPU并行

为什么值得完整阅读

推理优化没有一个对所有负载都有效的开关。交互式对话关心首Token和尾延迟，离线生成更看重总吞吐；短提示与长上下文的瓶颈也不同。论文把算法、调度器、显存和互联放进同一框架，能避免只凭单项跑分做决策。

技术路线图

模型侧包含量化、剪枝和蒸馏；内存侧重点是PagedAttention、KV缓存压缩与卸载；执行侧涵盖连续批处理、推测解码、张量并行和流水线并行；平台侧还涉及多租户隔离、模型复用和异构GPU调度。

部署时怎样使用

先按真实请求分布建立基线：提示长度、输出长度、并发、首Token、逐Token延迟、P95/P99和显存峰值。每次只改变一种策略，并记录质量回归与故障恢复表现。这样才能判断优化来自算法本身，还是批量、缓存命中或测试口径变化。

完整原文与使用说明

原文题名：Taming the Titans: A Survey of Efficient LLM Inference Serving。作者：INLG 2025论文作者。本站保存来源机构发布的完整英文PDF，PDF内容未作删改；上面的中文内容是针对这篇论文单独撰写的阅读导引，不冒充全文翻译。

原始发表页：https://aclanthology.org/2025.inlg-main.32/。

许可依据：ACL Anthology官方版权政策说明：2016年及以后发布的材料采用CC BY 4.0，可在保留署名与出处的前提下复制和再分发。 本页同时展示文件页数、大小和哈希值，便于核对本地文件完整性。