MODEL SELECTION PROFILE

DeepSeek-R1-Distill-Qwen-32B

将DeepSeek-R1推理能力蒸馏到Qwen 32B底座,适合本地数学、代码与复杂推理。
资料更新:2026-07-27官方资料来源 →

核心规格

模型系列
DeepSeek-R1-Distill
厂商/维护方
DeepSeek
许可证
MIT
输入模态
文本
架构
Dense Transformer
总参数量
32.8B
最大上下文
131072 tokens
仅权重显存估算
BF16:65.6 GB;INT4:16.4 GB;INT8:32.8 GB
建议GPU显存
BF16:80 GB;INT4单用户:24 GB;INT8或长上下文:48 GB

软件与部署生态

  • Transformers
  • vLLM
  • SGLang
  • llama.cpp

部署与采购注意事项

暂无额外部署说明。

不适合或需要谨慎的场景

  • 蒸馏模型不等同完整R1
  • 长思维链增加延迟与KV Cache
HOW TO USE THIS PROFILE

不要用单个参数直接作出采购决定

权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量;MoE模型的激活参数也不能代替完整权重容量。

WANGYU COMPUTE SERVICE

需要形成正式方案时,由网昱继续推进

提交当前页面和项目条件,网昱将从模型、并发、硬件平台、预算与交付边界继续核对,并明确下一步交付物。