GPU SELECTION PROFILE
Intel Gaudi3
128GB HBM2e的训练与推理加速器,面向大模型多卡和以太网扩展集群。核心规格
- 厂商/维护方
- Intel Habana
- 功耗
- 900 W
- 显存容量
- 128 GB
- 产品形态
- OAM/PCIe(因产品形态而异)
- 显存类型
- HBM2e
- 架构
- Gaudi3
- 卡间互联
- 200GbE RoCE
- 显存带宽
- 3.7 TB/s
软件与部署生态
- SynapseAI
- PyTorch
- Optimum Habana
- DeepSpeed
部署与采购注意事项
- 按整机形态核对功耗、网络和散热
- 迁移前验证目标模型、精度和SynapseAI版本
不适合或需要谨慎的场景
- 桌面工作站
- CUDA强绑定项目
- 缺少迁移验证能力的团队
HOW TO USE THIS PROFILE
不要用单个参数直接作出采购决定
显存决定模型能否装入,显存带宽和算力影响速度,功耗、散热、卡间互联与软件生态决定方案能否长期稳定运行。消费卡与数据中心卡不能只按价格和峰值算力比较。
WANGYU COMPUTE SERVICE需要形成正式方案时,由网昱继续推进
提交当前页面和项目条件,网昱将从模型、并发、硬件平台、预算与交付边界继续核对,并明确下一步交付物。