软件与框架
CUDA
NVIDIA GPU通用并行计算平台，是PyTorch、TensorRT及大量AI算子的基础依赖。
- 类型
- GPU计算平台
- 维护方
- NVIDIA
- 支持硬件
- NVIDIA GPU
START WITH A QUESTION
先告诉我们，你要解决什么问题？
不需要先理解所有技术参数，从你的设备或目标模型开始。
WHAT YOU CAN FIND
从一个对象，连接完整的算力决策信息
SELECTION CATALOG
软件与框架
当前收录 22 条资料，可按关键词、厂商、显存和使用场景缩小范围。
22条匹配资料
横向比较
选择 2–3 个同类条目，对照核心规格和适用场景。
软件与框架
DeepSpeed
微软开源的深度学习训练优化库，覆盖ZeRO、并行训练、混合精度和大模型推理。
- 类型
- 分布式训练框架
- 维护方
- Microsoft
- 支持硬件
- NVIDIA GPU、AMD GPU（支持范围需核对）
软件与框架
Docker
容器镜像与运行时工具，是固定AI应用依赖、交付GPU服务和复现实验环境的基础设施。
- 类型
- 容器平台
- 维护方
- Docker
- 支持硬件
- CPU、通过NVIDIA Container Toolkit等使用GPU
软件与框架
Hugging Face Transformers
覆盖文本、视觉、语音和多模态任务的模型加载、训练与推理基础库。
- 类型
- 模型开发库
- 维护方
- Hugging Face
- 支持硬件
- NVIDIA GPU、AMD GPU、CPU、Apple Silicon及其他后端
软件与框架
KServe
基于Kubernetes的模型推理平台，提供服务编排、弹性伸缩、流量管理和多种模型运行时。
- 类型
- 云原生模型服务平台
- 维护方
- KServe Community
- 支持硬件
- Kubernetes节点可用的CPU与GPU
软件与框架
Kubernetes
容器编排平台，可用于GPU调度、模型服务部署、弹性扩缩和集群资源管理。
- 类型
- 容器编排平台
- 维护方
- Cloud Native Computing Foundation
- 支持硬件
- CPU、通过设备插件使用GPU和加速器
软件与框架
NCCL
NVIDIA多GPU和多节点集合通信库，是分布式训练及张量并行的重要底层组件。
- 类型
- GPU通信库
- 维护方
- NVIDIA
- 支持硬件
- NVIDIA GPU、NVLink、InfiniBand、RoCE、以太网
软件与框架
NVIDIA Driver
NVIDIA GPU宿主驱动，决定硬件识别、CUDA运行时上限和容器访问GPU的基础能力。
- 类型
- GPU驱动
- 维护方
- NVIDIA
- 支持硬件
- NVIDIA GPU
软件与框架
ONNX Runtime
跨平台模型推理运行时，支持CPU、CUDA、TensorRT、DirectML等执行提供程序。
- 类型
- 跨平台推理运行时
- 维护方
- Microsoft
- 支持硬件
- CPU、NVIDIA GPU、AMD GPU、Windows GPU及多种加速器
软件与框架
Ollama
面向本地模型下载、运行与API调用的易用工具，适合快速验证和个人应用。
- 类型
- 本地模型运行工具
- 维护方
- Ollama
- 支持硬件
- CPU、NVIDIA GPU、AMD GPU、Apple Silicon
软件与框架
OpenMPI
开源消息传递接口实现，常用于HPC和部分多节点AI训练启动与通信。
- 类型
- 分布式通信运行时
- 维护方
- Open MPI Project
- 支持硬件
- CPU集群、InfiniBand、RoCE、以太网
软件与框架
PyTorch
主流深度学习框架，覆盖模型训练、推理、分布式计算与丰富的AI生态。
- 类型
- 深度学习框架
- 维护方
- PyTorch Foundation
- 支持硬件
- NVIDIA CUDA、AMD ROCm、CPU、Apple MPS及其他后端
软件与框架
ROCm
AMD面向GPU计算、机器学习和HPC的开放软件栈，覆盖HIP、通信库、数学库与框架适配。
- 类型
- GPU计算平台
- 维护方
- AMD
- 支持硬件
- AMD Instinct、部分Radeon PRO与Radeon GPU
软件与框架
Ray Serve
Ray生态中的可扩展在线推理框架，支持Python组合、多模型流水线和分布式副本。
- 类型
- 分布式模型服务框架
- 维护方
- Anyscale / Ray Project
- 支持硬件
- CPU、NVIDIA GPU及Ray支持资源
软件与框架
SGLang
面向大模型和多模态模型的高性能服务框架，提供推理运行时、结构化生成和服务接口。
- 类型
- 大模型推理框架
- 维护方
- SGLang Project
- 支持硬件
- NVIDIA CUDA、AMD ROCm及文档列出的其他后端
软件与框架
TensorFlow
覆盖模型训练、推理、分布式计算和生产部署的深度学习框架。
- 类型
- 深度学习框架
- 维护方
- 支持硬件
- CPU、NVIDIA GPU、TPU及其他插件后端
软件与框架
TensorRT
NVIDIA面向深度学习推理的优化SDK，适合在支持的GPU上构建低延迟、高吞吐引擎。
- 类型
- 推理优化SDK
- 维护方
- NVIDIA
- 支持硬件
- NVIDIA GPU
软件与框架
TensorRT-LLM
NVIDIA面向大语言模型的推理优化与服务组件，支持量化、张量并行和高性能内核。
- 类型
- 大模型推理框架
- 维护方
- NVIDIA
- 支持硬件
- NVIDIA GPU
软件与框架
Triton Inference Server
NVIDIA开源推理服务器，统一托管TensorRT、ONNX Runtime、PyTorch及自定义后端模型。
- 类型
- 模型服务平台
- 维护方
- NVIDIA
- 支持硬件
- NVIDIA GPU、CPU及后端支持设备
软件与框架
cuDNN
NVIDIA为深度神经网络提供的GPU加速库，被PyTorch、TensorFlow等框架作为底层依赖。
- 类型
- 深度学习加速库
- 维护方
- NVIDIA
- 支持硬件
- NVIDIA GPU
软件与框架
llama.cpp
以C/C++实现的轻量大模型推理项目，适合GGUF量化、CPU和消费级设备本地部署。
- 类型
- 轻量本地推理
- 维护方
- ggml-org
- 支持硬件
- CPU、NVIDIA GPU、AMD GPU、Apple Silicon、多种异构后端
软件与框架
vLLM
面向大语言模型的高吞吐推理与OpenAI兼容服务框架，支持连续批处理和PagedAttention。
- 类型
- 大模型推理框架
- 维护方
- vLLM Project
- 支持硬件
- NVIDIA CUDA、AMD ROCm、部分Intel与其他后端
FROM DATA TO DECISION
进入AI算力决策工具 →完成对比后，继续验证配置
候选产品对比只能缩小范围。使用显存估算、GPU适配和服务器配置工具，继续核对模型规模、并发、主板平台、供电与散热。