FloE：显存受限GPU上的MoE模型即时推理论文

为什么MoE模型仍然难以部署

MoE模型每个Token只激活部分专家，但全部专家参数通常仍需要存储和调度，因此“激活参数少”并不等于“显存占用小”。FloE关注的正是专家总参数远超GPU容量时，怎样在推理过程中按需获得可执行的专家权重。

论文提出的方案

FloE通过对专家参数进行压缩表示，并在推理过程中即时恢复当前路由所需的专家，减少常驻GPU的参数量。论文把压缩比例、恢复开销、专家访问模式和GPU执行结合起来评估，而不是只报告静态模型文件大小。

关键实验结论怎么理解

• 论文报告的显存压缩和加速倍数对应特定模型、数据集与比较基线。
• 即时恢复专家会引入额外计算，收益取决于GPU算力、显存带宽和专家命中模式。
• 质量下降需要结合具体任务判断，平均指标不能代替业务数据验收。
• 单卡能够运行并不意味着能够承担生产并发，还需测试路由偏斜和长上下文。

适用场景

这份论文适合评估Mixtral一类MoE模型在工作站GPU上的部署可能性，也可帮助理解专家卸载、量化和即时解压之间的取舍。实际采用前应在目标模型上复现显存峰值、首Token延迟、持续吞吐和任务质量。

署名与处理说明

作者：Yuxin Zhou、Zheng Li、Jun Zhang、Jue Wang、Yiping Wang、Zhongle Xie、Ke Chen、Lidan Shou。本站保留PMLR发布的完整英文PDF，未改写PDF内容；中文部分为阅读导引。原论文按CC BY 4.0许可再分发。