核心规格
- 厂商/维护方
- Microsoft
- 许可证
- MIT
- 软件类型
- 跨平台推理运行时
- 相关组件
- ONNX、TensorRT、DirectML、OpenVINO
- 操作系统
- Linux、Windows、macOS、移动端
- 支持硬件
- CPU、NVIDIA GPU、AMD GPU、Windows GPU及多种加速器
SOFTWARE SELECTION PROFILE
ONNX Runtime
跨平台模型推理运行时，支持CPU、CUDA、TensorRT、DirectML等执行提供程序。资料更新：2026-07-27官方资料来源 →
软件与部署生态
软件兼容信息正在补充。
部署与采购注意事项
- 模型导出时核对opset与动态形状
- 不同执行提供程序的算子回退会影响性能
不适合或需要谨慎的场景
- 未经导出验证的动态大模型
- 需要特定框架自定义算子的模型
HOW TO USE THIS PROFILE
不要用单个参数直接作出采购决定
权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量；MoE模型的激活参数也不能代替完整权重容量。
WANGYU COMPUTE SERVICE
让网昱继续核对这份算力方案
结合模型、并发、硬件平台、预算和交付条件，进一步确认配置边界，或匹配可租算力资源。