Ladder-Residual：通信重叠加速大模型并行推理

资料定位

针对多GPU大模型推理中的通信等待，提出并行感知模型结构以重叠通信与计算。

核心主题：多GPU并行推理

论文从模型架构层面创造通信重叠机会，缓解张量并行等方式中同步通信造成的空闲。

阅读与复现边界

收益与互联拓扑、并行规模、批量和模型尺寸有关，NVLink环境结果不能直接套用到PCIe工作站。

对实际项目的用法

适合评估多卡服务器扩展效率，结合NCCL时间线、GPU利用率和端到端延迟定位通信瓶颈。

原文、署名与本地化说明

原文标题：Ladder-Residual: Parallelism-Aware Architecture for Accelerating Large Model Inference with Communication Overlapping。作者：Muru Zhang、Mayank Mishra、Zhongzhu Zhou 等。本站保存的是来源机构发布的完整PDF，未修改PDF内容；中文部分为独立阅读导引，不冒充全文翻译。原始出版页：https://proceedings.mlr.press/v267/zhang25bg.html。

许可依据：PMLR官方出版协议向公众授予CC BY 4.0许可，并要求署名中包含论文原始出版信息及PMLR原文链接。 本站提供来源、许可证、文件哈希、页数和本地化时间，方便核对版本与完整性。