LLMQ：消费级GPU上的低精度大模型训练论文

研究目标

消费级GPU显存较小，多卡互联也弱于数据中心平台。LLMQ研究如何在这些约束下训练中等规模语言模型，覆盖低精度数值、激活保存、数据卸载和多卡通信，而不是只提供一个能够启动的训练脚本。

系统设计重点

论文采用端到端CUDA/C++实现，减少通用框架额外开销，并结合激活检查点、主机内存卸载和复制引擎通信重叠。对消费卡而言，显存容量与PCIe通信往往需要共同优化，单独降低权重精度不足以解决训练中间状态占用。

阅读实验时应区分

• 训练显存包括权重、梯度、优化器状态、激活和临时工作区，与推理显存不是同一公式。
• 检查点通过增加重计算换取显存，吞吐变化取决于模型和GPU计算余量。
• 多卡消费平台通常没有NVLink，PCIe拓扑与CPU NUMA会影响扩展效率。
• 低精度能否稳定训练，需要结合损失缩放、累积误差和目标模型验证。

实际应用建议

准备在工作站上预训练或继续训练模型时，应先用较小配置验证数值稳定性和检查点恢复，再逐步增加序列长度、批量和卡数。持续记录每卡峰值显存、主机内存、PCIe流量、Token吞吐以及恢复后的损失曲线。

署名与处理说明

作者：Erik Schultheis、Dan Alistarh。本站保留PMLR英文原始PDF并提供本地访问，中文部分为独立阅读导引。论文按CC BY 4.0许可再分发。