核心规格
- 模型系列
- InternLM2.5
- 厂商/维护方
- Shanghai AI Laboratory
- 许可证
- InternLM Model License
- 输入模态
- 文本
- 架构
- Dense Transformer
- 总参数量
- 7B
- 最大上下文
- 32768 tokens
- 仅权重显存估算
- BF16:14 GB;INT4:3.5 GB;INT8:7 GB
- 建议GPU显存
- INT4推理:8 GB;BF16或长上下文:20 GB
MODEL SELECTION PROFILE
暂无额外部署说明。
权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量;MoE模型的激活参数也不能代替完整权重容量。
结合模型、并发、硬件平台、预算和交付条件,进一步确认配置边界,或匹配可租算力资源。