BPipe：大模型训练的显存均衡流水线并行方法

资料定位

研究流水线并行训练中的阶段显存不均衡，通过重新分配保存的激活提高可用批量和训练效率。

核心主题：流水线并行训练

BPipe关注不同流水线阶段激活占用不均的问题，并利用相邻设备容量改善整体内存平衡。

阅读与复现边界

设备互联、微批数量、模型分层和重计算策略都会影响实际收益。

对实际项目的用法

用于多GPU训练方案设计时，应同时查看每卡峰值显存、流水线气泡、通信和故障恢复。

原文、署名与本地化说明

原文标题：BPipe: Memory-Balanced Pipeline Parallelism for Training Large Language Models。作者：Taebum Kim、Hyoungjoo Kim、Gyeong-In Yu、Byung-Gon Chun。本站保存的是来源机构发布的完整PDF，未修改PDF内容；中文部分为独立阅读导引，不冒充全文翻译。原始出版页：https://proceedings.mlr.press/v202/kim23l.html。

许可依据：PMLR官方出版协议向公众授予CC BY 4.0许可，并要求署名中包含论文原始出版信息及PMLR原文链接。 本站提供来源、许可证、文件哈希、页数和本地化时间，方便核对版本与完整性。