← 返回AI算力选型库

SOFTWARE SELECTION PROFILE

Ollama

面向本地模型下载、运行与API调用的易用工具,适合快速验证和个人应用。
资料更新:2026-07-24官方资料来源 →

核心规格

厂商/维护方
Ollama
许可证
MIT(核心项目)
软件类型
本地模型运行工具
相关组件
GGUF、llama.cpp、OpenAI兼容客户端
操作系统
Linux、Windows、macOS
支持硬件
CPU、NVIDIA GPU、AMD GPU、Apple Silicon

软件与部署生态

软件兼容信息正在补充。

部署与采购注意事项

  • 确认模型文件存储位置、端口暴露和局域网访问权限
  • 生产环境仍需补充认证、限流、监控和版本固定

不适合或需要谨慎的场景

  • 复杂的多节点推理集群
  • 需要精细调度和极致吞吐的生产服务
HOW TO USE THIS PROFILE

不要用单个参数直接作出采购决定

权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量;MoE模型的激活参数也不能代替完整权重容量。

WANGYU COMPUTE SERVICE

让网昱继续核对这份算力方案

结合模型、并发、硬件平台、预算和交付条件,进一步确认配置边界,或匹配可租算力资源。