← 返回AI算力选型库

SOFTWARE SELECTION PROFILE

KServe

基于Kubernetes的模型推理平台,提供服务编排、弹性伸缩、流量管理和多种模型运行时。
资料更新:2026-07-27官方资料来源 →

核心规格

厂商/维护方
KServe Community
许可证
Apache 2.0
软件类型
云原生模型服务平台
相关组件
Kubernetes、Knative、Triton、MLServer
操作系统
Linux/Kubernetes
支持硬件
Kubernetes节点可用的CPU与GPU

软件与部署生态

软件兼容信息正在补充。

部署与采购注意事项

  • GPU调度、模型存储和自动扩缩容需要联合设计
  • 先验证单模型运行时,再引入平台层复杂度

不适合或需要谨慎的场景

  • 单机本地模型
  • 没有Kubernetes运维基础的小团队
HOW TO USE THIS PROFILE

不要用单个参数直接作出采购决定

权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量;MoE模型的激活参数也不能代替完整权重容量。

WANGYU COMPUTE SERVICE

让网昱继续核对这份算力方案

结合模型、并发、硬件平台、预算和交付条件,进一步确认配置边界,或匹配可租算力资源。