核心规格
- 模型系列
- Mixtral
- 厂商/维护方
- Mistral AI
- 许可证
- Apache 2.0
- 输入模态
- 文本
- 架构
- Mixture of Experts
- 总参数量
- 46.7B
- 最大上下文
- 32768 tokens
- 激活参数量
- 12.9B
- 仅权重显存估算
- BF16：93.4 GB；INT4：23.4 GB；INT8：46.7 GB
- 建议GPU显存
- BF16：120 GB；INT4：32 GB；INT8：64 GB
MODEL SELECTION PROFILE
Mixtral 8x7B Instruct
稀疏MoE指令模型，兼顾较强能力与每Token较低激活参数，适合多卡推理和研究。资料更新：2026-07-27官方资料来源 →
软件与部署生态
- Transformers
- vLLM
- TensorRT-LLM
- llama.cpp
部署与采购注意事项
暂无额外部署说明。
不适合或需要谨慎的场景
- 激活参数不等于权重显存
- 专家路由和多卡通信影响吞吐
HOW TO USE THIS PROFILE
不要用单个参数直接作出采购决定
权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量；MoE模型的激活参数也不能代替完整权重容量。
WANGYU COMPUTE SERVICE
让网昱继续核对这份算力方案
结合模型、并发、硬件平台、预算和交付条件，进一步确认配置边界，或匹配可租算力资源。