模型部署Qwen3-32B知识 · 模型部署
双GPU部署Qwen3-32B：vLLM张量并行、显存预算、OpenAI接口与容量验收
在两张同型号GPU上部署Qwen3-32B，说明权重容量、KV Cache、PCIe/NVLink拓扑、张量并行启动、接口验证和单卡量化替代方案。
网昱原创4 分钟
模型部署Qwen3-32B
模型部署vLLM知识 · 模型部署
vLLM Docker生产部署Qwen：模型缓存、OpenAI接口、显存预算与健康检查
从GPU容器基线开始，用vLLM官方镜像部署Qwen兼容API，详细解释缓存、IPC、上下文、显存利用率、认证、流式请求、升级回退和OOM排查。
网昱原创5 分钟
模型部署Ollama知识 · 模型部署
Ollama Docker GPU部署：模型目录持久化、API调用、显存判断与局域网安全
面向工作站和小型服务器，用Docker运行Ollama并持久化模型，验证GPU是否真正参与推理，设置局域网访问边界，并排查模型落到CPU、下载重复和上下文OOM。
网昱原创4 分钟
模型部署AI算力知识 · 模型部署
大模型离线下载与内网缓存：校验、断点续传和版本冻结
在外网不稳定或生产环境隔离时可靠交付模型文件，给出准备、实施、排错和验收方法，并提供可复核的实施步骤、风险边界与验收标准。
网昱原创2 分钟
模型部署AI算力知识 · 模型部署
ROCm与PyTorch部署检查：GPU识别、算子兼容和性能基线
在AMD GPU服务器上建立可复核的PyTorch训练与推理基础环境，给出准备、实施、排错和验收方法。
网昱原创3 分钟
模型部署AI算力知识 · 模型部署
TensorRT-LLM引擎构建：模型转换、精度选择与一致性验证
将已确认许可和版本的模型转换成可重复构建的TensorRT-LLM推理引擎，给出准备、实施、排错和验收方法。
网昱原创2 分钟
模型部署AI算力模型部署AI算力
模型部署model-deployment知识 · 模型部署
Qwen3 8B本地部署：Ollama安装、API调用与GPU检查
依据官方资料整理Qwen3 8B本地部署：Ollama安装、API调用与GPU检查的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
模型部署model-deployment知识 · 模型部署
PEFT LoRA微调实践：数据准备、训练配置与适配器验收
依据官方资料整理PEFT LoRA微调实践：数据准备、训练配置与适配器验收的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
模型部署DeepSeek-R1知识 · 模型部署
DeepSeek-R1 7B本地部署：Windows、Linux与Docker的Ollama完整教程
依据DeepSeek官方模型卡与Ollama模型库，说明7B蒸馏模型的硬件选择、三种安装方式、模型下载、API调用、数据目录迁移、局域网访问、日志排错和安全设置。
网昱原创7 分钟
模型部署DeepSeek-R1知识 · 模型部署
DeepSeek-R1-Distill-Qwen-32B本地部署：vLLM双卡服务完整指南
依据DeepSeek官方模型卡和vLLM服务文档，完整说明硬件评估、环境检查、模型下载、双卡启动、API验证、性能测试、常见故障与生产化注意事项。
DeepSeek 官方文档8 分钟