Kimi K3技术报告中文阅读索引：架构、量化、上下文与部署参数
基于月之暗面官方技术报告和模型仓库，整理Kimi K3的MoE结构、注意力组成、低精度格式、视觉编码器、上下文长度及部署时应重点核对的参数。
来源：网昱原创收录日期：2026-07-27
DOCUMENT CHANNELS
按资料类型浏览
集中查找模型、芯片、系统、标准和软件版本资料，并核对发布机构、更新时间与适用范围。
FEATURED READING
值得优先阅读的技术资料
DOCUMENT LIBRARY
最新收录资料
当前收录 35 份资料，可查看中文导读、资料出处，并在线阅读或下载允许本站保存的原始文件。
LLMQ：消费级GPU上的低精度大模型训练论文
论文给出面向消费级GPU的CUDA/C++低精度大模型训练实现，讨论激活检查点、卸载、通信和显存受限条件下3B至32B模型的训练设计。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2026-03-2320 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
Dovetail大模型服务系统：GPU资源利用率与请求调度研究
论文面向在线大模型请求的长度差异与资源浪费，研究GPU任务编排和服务策略，重点观察吞吐、延迟目标与利用率之间的关系。
来源：ACL Anthology收录日期：2025-11-0114 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
硬件感知的并行提示词解码：让推理优化匹配真实GPU特性
论文从GPU内存与并行执行约束出发优化提示词处理，说明算法加速必须与硬件带宽、缓存和算子执行方式共同设计。
来源：ACL Anthology收录日期：2025-11-0118 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
高效大模型推理服务综述：从KV缓存、批处理到多GPU并行
这份综述把大模型在线服务拆成模型压缩、KV缓存管理、连续批处理、推测解码、并行部署和多模型共享六类问题，适合作为推理平台选型的技术地图。
来源：ACL Anthology收录日期：2025-09-0120 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
GLM-4.5技术报告：智能体、推理与代码能力的训练路线
报告把智能体、推理和代码作为统一训练目标，说明MoE、混合思考模式及分阶段后训练之间的关系。355B总参数与32B激活参数是两个不同的容量口径，部署时仍需容纳完整专家权重。阅读时先核对模型架构，再比较评测条件、采样次数和工具环境，最后查看GLM-4.5-Air的取舍。
来源：原作者 · arXiv收录日期：2025-08-0826 页许可：CC BY 4.0
如何识别云端大模型背后的GPU与软件栈：黑盒平台推断研究
研究利用不同GPU架构与编译软件产生的数值差异，判断黑盒模型服务实际使用的平台，为算力租赁验收和服务真实性审计提供新思路。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1314 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
SliM-LLM：大语言模型显著性驱动混合精度量化论文
论文研究如何依据权重显著性为大模型分配不同量化位宽，在降低显存和存储成本的同时控制精度损失，并给出2-bit等低位宽实验。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1321 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
Ladder-Residual：通信重叠加速大模型并行推理
针对多GPU大模型推理中的通信等待，提出并行感知模型结构以重叠通信与计算。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1314 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
LV-XAttn：长视频和多图输入的分布式交叉注意力
大量视觉token可能比文本侧查询长得多。LV-XAttn利用这种长度不对称，保留较大的键值块并交换较小的查询块，降低分布式交叉注意力通信。适用于理解长视频、多图模型的系统瓶颈；只有模型具有相应交叉注意力结构才有迁移基础，不能把它当成任意VLM的通用开关。
来源：PMLR收录日期：2025-07-1313 页许可：CC BY 4.0
SKIM量化论文：任意位宽分配与缩放聚类
SKIM讨论的不只是常见INT4或INT8，而是怎样按通道敏感性分配位宽并优化聚类缩放。模型文件的平均位宽、GPU实际执行格式和运行时反量化开销必须区分。阅读实验时应同时核对困惑度、任务准确率、校准成本和是否存在目标GPU可用的内核，不能只凭压缩率决定采购。
来源：PMLR收录日期：2025-07-1315 页许可：CC BY 4.0
一台服务承载数千个LoRA适配器：压缩、缓存与动态加载方案
论文研究多租户推理中大量LoRA适配器的存储、传输和切换开销，给出先压缩再服务的系统方法，并讨论吞吐与质量边界。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1334 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
AdaSplash：面向真实稀疏度的自适应Flash Attention
稀疏注意力的理论计算量减少，不一定能抵消动态选择与不规则访存的开销。AdaSplash聚焦自适应稀疏执行。理解其适用条件应同时检查序列长度、注意力分布、GPU内核和质量约束，再设计与密集实现相同输入的对照。短序列、低并发和极端分布可能改变收益，最大加速数字不是通用服务承诺。
来源：PMLR收录日期：2025-07-1319 页许可：CC BY 4.0
Dialogue Without Limits：多轮会话中的固定容量KV缓存
无限增加会话历史并不现实，固定缓存必须决定哪些信息保留、压缩或丢弃。论文研究持续对话的内存边界。业务验证不能只测平均语言质量，还应安排早期约束重提、用户纠正、跨轮数字与隐私删除场景；模型记忆与数据库存档是不同概念，不能用缓存方案替代审计记录。
来源：PMLR收录日期：2025-07-1315 页许可：CC BY 4.0
HashAttention：用哈希空间寻找关键token的推理加速
该方法将注意力中的重要token搜索转化为近似检索问题，利用学习得到的哈希表示和位运算筛选候选。额外表示、训练适配和推理内核都是系统组成部分。阅读时重点看候选召回与最终输出质量的差别，并测试信息分散、重复文字和细粒度引用任务，不能仅比较注意力单个算子的速度。
来源：PMLR收录日期：2025-07-1317 页许可：CC BY 4.0
FloE：显存受限GPU上的MoE模型即时推理论文
面向专家混合模型在消费级GPU上部署的显存难题，论文提出按需处理专家参数的推理机制，并报告在RTX 3090等受限硬件上的容量、速度与精度权衡。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1324 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
EncryptedLLM：GPU加速全同态加密的大模型隐私推理
研究利用GPU加速全同态加密执行隐私保护的大模型推理，评估密码计算、模型结构和性能开销。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1312 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
Star Attention：长序列推理的分块注意力与多主机协作
长上下文不仅占显存，还增加预填充计算和跨节点通信。Star Attention把上下文处理与后续问答分成不同阶段，利用局部分块处理和全局缓存访问减少开销。项目评估应关注块边界附近信息、跨块问题和多主机通信；报告中的加速来自指定模型与负载，不可直接换算为普通短问答收益。
来源：PMLR收录日期：2025-07-1316 页许可：CC BY 4.0
RocketKV：长上下文KV缓存的两阶段压缩方法
RocketKV将永久驱逐与细粒度稀疏注意力组合，重点降低长文本解码阶段的缓存压力。缓存压缩会改变模型可访问的信息，尤其需要验证跨段引用、数字提取和多轮追加的问题。论文包含不同压缩强度和任务结果，适合建立质量—显存—延迟的三维对照，而不是直接套用最大的压缩倍数。
来源：PMLR收录日期：2025-07-1335 页许可：CC BY 4.0
Text-to-LoRA：由自然语言任务描述生成适配器
Text-to-LoRA使用超网络根据任务描述生成LoRA，而不是每个新任务都重新进行完整微调。报告区分已见任务重构与未见任务泛化。应用前要检查基础模型、超网络训练覆盖和生成适配器的质量，不应理解为任意中文任务都能零成本达到专门训练的效果；适配器的隔离和回滚同样重要。
来源：PMLR收录日期：2025-07-1330 页许可：CC BY 4.0
ShadowKV：长上下文大模型高吞吐推理的KV Cache优化论文
论文针对长上下文推理中KV Cache迅速占满GPU显存的问题，提出ShadowKV缓存组织方案，并从显存占用、解码延迟和端到端吞吐评估其效果。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1319 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
MoEQuant：专家均衡采样与亲和度引导量化
MoE量化的难点是校准样本经过动态路由后并不平均覆盖每个专家。MoEQuant分别处理专家之间和专家内部样本分布不均，强调校准数据与专家贡献的关系。准备量化部署时，应统计路由覆盖、低频专家与业务长尾任务，避免用一小批通用文本代表所有中文、代码和工具调用场景。
来源：PMLR收录日期：2025-07-1316 页许可：CC BY 4.0
BF16、FP8、INT8还是INT4：大模型量化的精度与吞吐实测研究
论文在多代GPU与vLLM服务环境中比较BF16、FP8、INT8和INT4，不只测模型精度，还把硬件算子、并发方式和成本效率纳入评价。
来源：ACL Anthology收录日期：2025-07-0115 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
大模型推理能耗与效率：部署优化如何影响实际能源需求
分析大模型推理、服务负载和效率优化的能源影响，帮助把Token吞吐、硬件利用率与功耗放到同一评估框架。
来源：ACL Anthology收录日期：2025-07-0114 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
InternVL3技术报告：多模态训练、视觉输入与测试时扩展
InternVL3研究怎样把视觉理解、语言能力和测试时推理结合起来。它适合用于分析文档图像、复杂图表与多图任务，不应只看综合榜单。实际项目需分别验证缩放后的细字识别、跨页信息关联、图表数值和无答案拒答；视觉编码器占用与语言模型缓存也应分开记录。
来源：原作者 · arXiv收录日期：2025-04-1427 页许可：CC BY 4.0
大语言模型压缩技术综述：量化、剪枝、蒸馏与低秩方法
系统梳理大模型量化、剪枝、知识蒸馏和低秩分解，适合作为模型压缩技术路线的总览索引。
来源：ACL Anthology收录日期：2024-12-0122 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
QUIK：生成式大模型端到端4-bit GPU推理论文
研究权重与激活联合4-bit量化，通过保留少量异常值的高精度计算和定制GPU内核提高端到端吞吐。
来源：ACL Anthology收录日期：2024-11-0117 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
QEFT：兼顾微调速度、显存和推理效率的量化方法
面向需要继续微调的大模型，研究量化、参数高效微调、硬件兼容性与部署速度之间的综合平衡。
来源：ACL Anthology收录日期：2024-11-0115 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
大模型量化策略综合评测：性能、对齐、效率与推理速度
系统比较大模型量化在知识能力、对齐表现和运行效率上的影响，并解释为什么减少显存不一定带来更快推理。
来源：ACL Anthology收录日期：2024-08-0130 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
LRQuant：可学习且稳健的大模型训练后量化
讨论无需完整模型重训的训练后量化，重点处理低位表示中的异常值和不同层的量化敏感性。
来源：ACL Anthology收录日期：2024-08-0116 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
ChatGLM系列完整报告：从GLM-130B到GLM-4工具能力
这份系列报告适合观察基础模型如何演进为具有工具使用能力的系统。不同代际的训练数据、对齐方法、上下文和工具接口并不等价，项目迁移时要分别验证聊天模板、角色消息、函数参数和中文任务。报告中的历史评测用于理解设计路线，不代表今天所有GLM版本的能力。
来源：原作者 · arXiv收录日期：2024-06-1819 页许可：CC BY 4.0
BGE-M3完整论文：多语言、多粒度与三种检索表示
M3同时支持稠密向量、词汇稀疏表示和多向量检索，不能把三者都称为同一种向量搜索。论文讨论不同语言、文档长度和检索任务如何协同训练。建设中文知识库时，可据此设计短查询长文档、跨语言查询、编号精确检索三套测试，再决定是否需要混合检索和重排。
来源：原作者 · arXiv收录日期：2024-02-0518 页许可：CC BY 4.0
大语言模型与知识图谱：混合知识表示的机会、争议与研究方向
论文系统讨论参数化知识与显式知识图谱的互补关系，分析大模型知识更新、可解释性、事实一致性和混合系统的研究方向。
来源：CEUR Workshop Proceedings收录日期：2023-08-1130 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
BPipe：大模型训练的显存均衡流水线并行方法
研究流水线并行训练中的阶段显存不均衡，通过重新分配保存的激活提高可用批量和训练效率。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2023-07-2315 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
FlexGen：单张GPU实现大语言模型高吞吐推理的完整论文
论文系统解释如何通过GPU、CPU和磁盘三级内存协同，让超出单卡显存容量的大语言模型完成高吞吐批量推理，并分析权重、激活与KV Cache的放置和交换策略。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2023-07-2323 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
SOURCE & ACCESS
查看来源与版权说明 →资料出处清楚，阅读方式明确
每份资料注明发布机构、原文标题、更新时间和许可信息；允许本站保存的文件可直接在线阅读和下载，其他资料提供中文导读与官方来源。