← 返回AI算力选型库GPU SELECTION PROFILE
GeForce RTX 5090
面向本地大模型、生成式图像和高性能工作站的旗舰消费级GPU。32GB显存适合中型量化模型,但无多卡NVLink。核心规格
- 厂商/维护方
- NVIDIA
- 功耗
- 575 W
- 主机接口
- PCIe 5.0 x16
- 显存容量
- 32 GB
- 产品形态
- 双槽Founders Edition/非公版因厂商而异
- 显存类型
- GDDR7
- 架构
- Blackwell
- 卡间互联
- 不支持NVLink
- 显存带宽
- 1.792 TB/s
软件与部署生态
- CUDA
- cuDNN
- TensorRT
- PyTorch
- vLLM
部署与采购注意事项
- 整卡功耗575W,需核对电源、机箱空间和供电接口
- 32GB显存可运行多数7B至32B量化模型,实际并发还受KV Cache影响
不适合或需要谨慎的场景
- 需要ECC与企业支持的长期服务
- 单卡部署超大模型
- NVLink多卡训练
HOW TO USE THIS PROFILE
不要用单个参数直接作出采购决定
显存决定模型能否装入,显存带宽和算力影响速度,功耗、散热、卡间互联与软件生态决定方案能否长期稳定运行。消费卡与数据中心卡不能只按价格和峰值算力比较。
WANGYU COMPUTE SERVICE让网昱继续核对这份算力方案
结合模型、并发、硬件平台、预算和交付条件,进一步确认配置边界,或匹配可租算力资源。