登录 / 用户中心
登录 / 用户中心
← 返回AI算力选型库

MODEL SELECTION PROFILE

Llama 3.1 8B

生态成熟的8B开放权重模型，适合本地实验、英文应用、微调和端侧原型。
资料更新：2026-07-24官方资料来源 →

核心规格

模型系列
Llama 3.1
厂商/维护方
Meta AI
许可证
Llama 3.1 Community License
输入模态
文本
架构
Dense Transformer
总参数量
8B
最大上下文
131072 tokens
仅权重显存估算
BF16：16 GB；INT4：4 GB；INT8：8 GB
建议GPU显存
基础推理：12 GB；长上下文或微调：24 GB

软件与部署生态

  • Transformers
  • vLLM
  • llama.cpp
  • Ollama

部署与采购注意事项

暂无额外部署说明。

不适合或需要谨慎的场景

  • 商业使用需阅读Llama社区许可
  • 中文能力需要结合实际数据评测
HOW TO USE THIS PROFILE

不要用单个参数直接作出采购决定

权重显存只是部署下限。真实服务还需要预留KV Cache、批处理、上下文、框架运行开销和安全余量；MoE模型的激活参数也不能代替完整权重容量。

WANGYU COMPUTE SERVICE

让网昱继续核对这份算力方案

结合模型、并发、硬件平台、预算和交付条件，进一步确认配置边界，或匹配可租算力资源。