资料定位

系统梳理大模型量化、剪枝、知识蒸馏和低秩分解,适合作为模型压缩技术路线的总览索引。

核心主题:模型压缩综述

论文按方法、训练需求、压缩对象和评测方式整理文献,有助于区分权重量化、激活量化及结构化剪枝。

阅读与复现边界

综述覆盖的是发表时点;框架、GPU算子和模型架构更新很快,具体实现必须回到对应论文和版本。

对实际项目的用法

用于先筛选压缩路线,再针对目标GPU和模型建立小规模质量、容量及速度试验。

原文、署名与本地化说明

原文标题:A Survey on Model Compression for Large Language Models。作者:TACL论文作者。本站保存的是来源机构发布的完整PDF,未修改PDF内容;中文部分为独立阅读导引,不冒充全文翻译。原始出版页:https://aclanthology.org/2024.tacl-1.85/。

许可依据:ACL Anthology官方版权政策说明:2016年及以后发布的ACL材料采用CC BY 4.0,明确允许复制、分发及在其他网站或媒介托管。 本站提供来源、许可证、文件哈希、页数和本地化时间,方便核对版本与完整性。

来源、翻译与版权说明

来源:ACL Anthology。第三方内容版权归原作者或发布机构所有;本站仅在许可证或明确授权允许时提供本地原文。

原文语言
EN
原文更新时间
2024-12-01
许可证
Creative Commons Attribution 4.0 International (CC BY 4.0)
文件校验
ed1b1ae6b289de93