← 返回AI算力选型库GPU SELECTION PROFILE
NVIDIA H100 SXM
面向数据中心训练和推理的Hopper加速器,具备HBM3、NVLink、MIG与企业级RAS能力。核心规格
- 厂商/维护方
- NVIDIA
- 功耗
- 700 W
- 显存容量
- 80 GB
- 产品形态
- SXM
- 显存类型
- HBM3
- 架构
- Hopper
- 卡间互联
- NVLink 900 GB/s
- 显存带宽
- 3.35 TB/s
软件与部署生态
- CUDA
- NCCL
- TensorRT-LLM
- NVIDIA AI Enterprise
部署与采购注意事项
- 必须按HGX/OEM整机平台评估供电、互联和散热
- 采购时区分SXM与PCIe版本,二者功耗和互联能力不同
不适合或需要谨慎的场景
HOW TO USE THIS PROFILE
不要用单个参数直接作出采购决定
显存决定模型能否装入,显存带宽和算力影响速度,功耗、散热、卡间互联与软件生态决定方案能否长期稳定运行。消费卡与数据中心卡不能只按价格和峰值算力比较。
WANGYU COMPUTE SERVICE让网昱继续核对这份算力方案
结合模型、并发、硬件平台、预算和交付条件,进一步确认配置边界,或匹配可租算力资源。