这份资料解决的问题
不同专家的激活频率与量化敏感性会共同影响运行效率。MxMoE把位宽配置和混合精度GroupGEMM内核联动设计,因此比单纯压缩权重更接近系统问题。复现应保存每层位宽、校准样本、内核编译参数与硬件型号,同时记录模型质量和端到端延迟,不把混合格式总大小当成GPU执行性能。
原始研究资料
原文题名:MxMoE: Mixed-precision Quantization for MoE with Accuracy and Performance Co-Design。
作者:Haojie Duanmu、Xiuhong Li、Zhihang Yuan、Size Zheng、Jiangfei Duan、Xingcheng Zhang、Dahua Lin。
原始发表入口:MxMoE: Mixed-precision Quantization for MoE with Accuracy and Performance Co-Design。本页上方提供完整、未经删改的原始PDF,可在线阅读或直接下载。中文文字是独立导读,不冒充全文译文;实验设置、算法公式、消融结果和附录以完整PDF为准。
引用与许可
原始文献及本文引用请保留作者、题名、原发表机构与原文地址。原文采用CC BY 4.0许可,本地副本保留原有署名和出版信息。
来源:PMLR。第三方内容版权归原作者或发布机构所有;本站仅在许可证或明确授权允许时提供本地原文。
- 原文语言
- EN
- 原文更新时间
- 2025-07-13
- 许可证
- CC BY 4.0
- 文件校验
- dff1c5780791bf00…




