模型部署Open WebUI知识 · 模型部署
Open WebUI连接内网vLLM：容器网络、账户、模型列表与持久化
用同一Docker网络连接聊天界面和推理服务，避免localhost指向错误容器，保留账户数据库，并检查模型列表、流式输出与升级回滚。
网昱算力学院 · 技术编辑6 分钟
模型部署Open WebUI
模型部署Qwen3-8B知识 · 模型部署
Qwen3-8B用vLLM提供内网API：思考开关、模型下载与响应验证
从独立容器和本地权重开始部署Qwen3-8B，区分普通回答与思考模式，检查接口、显存、输出截断和模型版本，避免只跑通一条请求就投入使用。
网昱算力学院 · 技术编辑6 分钟
模型部署Qwen2.5-VL知识 · 模型部署
Qwen2.5-VL-7B识图服务：本地图片、像素预算与OCR验收
将Qwen2.5-VL部署为内网识图接口，使用Base64传输本地图片，设置输入限制，并用细字、旋转和无目标样本检查视觉预处理与输出质量。
网昱算力学院 · 技术编辑6 分钟
模型部署BGE-M3知识 · 模型部署
BGE-M3搭建中文向量接口：批量编码、长度限制与相似度校验
用FlagEmbedding和FastAPI建立BGE-M3向量服务，明确1024维稠密向量的含义，限制批量与输入，并检查查询和文档是否使用相同模型版本。
网昱算力学院 · 技术编辑7 分钟
模型部署faster-whisper知识 · 模型部署
faster-whisper离线转写中文音频：CUDA依赖、SRT输出与长录音排障
部署本地语音转写流程，将音频转为带时间戳字幕，区分解码、VAD与识别耗时，检查长静音幻觉、术语错误和GPU依赖不匹配。
网昱算力学院 · 技术编辑7 分钟
模型部署Wan2.1知识 · 模型部署
Wan2.1本地文生视频：1.3B模型、CPU卸载与结果验收
以Wan2.1的1.3B模型建立最小视频生成流程，记录代码与权重版本、固定种子，区分显存卸载和加速，并验证输出尺寸、时长与内容一致性。
网昱算力学院 · 技术编辑5 分钟
模型部署llama.cpp知识 · 模型部署
llama.cpp编译CUDA服务：GGUF加载、GPU层数与上下文容量
从源码构建llama-server，使用官方Qwen GGUF权重，检查GPU卸载、模型名称、上下文和内存占用，区分CPU回退与真正的GPU推理。
网昱算力学院 · 技术编辑6 分钟
模型部署Qwen3-32B知识 · 模型部署
双GPU部署Qwen3-32B：vLLM张量并行、显存预算、OpenAI接口与容量验收
在两张同型号GPU上部署Qwen3-32B，说明权重容量、KV Cache、PCIe/NVLink拓扑、张量并行启动、接口验证和单卡量化替代方案。
网昱原创4 分钟
模型部署vLLM知识 · 模型部署
vLLM Docker生产部署Qwen：模型缓存、OpenAI接口、显存预算与健康检查
从GPU容器基线开始，用vLLM官方镜像部署Qwen兼容API，详细解释缓存、IPC、上下文、显存利用率、认证、流式请求、升级回退和OOM排查。
网昱原创5 分钟
模型部署Ollama知识 · 模型部署
Ollama Docker GPU部署：模型目录持久化、API调用、显存判断与局域网安全
面向工作站和小型服务器，用Docker运行Ollama并持久化模型，验证GPU是否真正参与推理，设置局域网访问边界，并排查模型落到CPU、下载重复和上下文OOM。
网昱原创4 分钟
模型部署AI算力模型部署AI算力知识 · 模型部署
大模型离线下载与内网缓存：校验、断点续传和版本冻结
在外网不稳定或生产环境隔离时可靠交付模型文件，给出准备、实施、排错和验收方法，并提供可复核的实施步骤、风险边界与验收标准。
网昱原创2 分钟
模型部署AI算力模型部署AI算力知识 · 模型部署
TensorRT-LLM引擎构建：模型转换、精度选择与一致性验证
将已确认许可和版本的模型转换成可重复构建的TensorRT-LLM推理引擎，给出准备、实施、排错和验收方法。
网昱原创2 分钟
模型部署AI算力知识 · 模型部署
ROCm与PyTorch部署检查：GPU识别、算子兼容和性能基线
在AMD GPU服务器上建立可复核的PyTorch训练与推理基础环境，给出准备、实施、排错和验收方法。
网昱原创3 分钟
模型部署model-deployment知识 · 模型部署
Qwen3 8B本地部署：Ollama安装、API调用与GPU检查
依据官方资料整理Qwen3 8B本地部署：Ollama安装、API调用与GPU检查的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
模型部署model-deployment知识 · 模型部署
PEFT LoRA微调实践：数据准备、训练配置与适配器验收
依据官方资料整理PEFT LoRA微调实践：数据准备、训练配置与适配器验收的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
模型部署DeepSeek-R1知识 · 模型部署
DeepSeek-R1 7B本地部署：Windows、Linux与Docker的Ollama完整教程
依据DeepSeek官方模型卡与Ollama模型库，说明7B蒸馏模型的硬件选择、三种安装方式、模型下载、API调用、数据目录迁移、局域网访问、日志排错和安全设置。
网昱原创7 分钟
模型部署DeepSeek-R1知识 · 模型部署
DeepSeek-R1-Distill-Qwen-32B本地部署：vLLM双卡服务完整指南
依据DeepSeek官方模型卡和vLLM服务文档，完整说明硬件评估、环境检查、模型下载、双卡启动、API验证、性能测试、常见故障与生产化注意事项。
DeepSeek 官方文档8 分钟