核心规格
- 厂商/维护方
- NVIDIA
- 许可证
- NVIDIA许可
- 软件类型
- GPU通信库
- 相关组件
- CUDA、PyTorch Distributed、DeepSpeed、Megatron-LM
- 操作系统
- Linux
- 支持硬件
- NVIDIA GPU、NVLink、InfiniBand、RoCE、以太网
SOFTWARE SELECTION PROFILE
软件兼容信息正在补充。
权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量;MoE模型的激活参数也不能代替完整权重容量。
结合模型、并发、硬件平台、预算和交付条件,进一步确认配置边界,或匹配可租算力资源。