跳到主要内容

网昱算力学院WANGYU COMPUTE ACADEMY

网昱服务登录 / 用户中心

网昱服务登录 / 用户中心

AI COMPUTE / KNOWLEDGE

算力教程与实践

把选型、部署、运维和采购问题拆解成可执行、可验证的技术答案。

全部算力基础模型部署推理与性能优化集群运维与排障选型与采购

模型部署Open WebUI

知识 · 模型部署2026-10-06

Open WebUI连接内网vLLM：容器网络、账户、模型列表与持久化

用同一Docker网络连接聊天界面和推理服务，避免localhost指向错误容器，保留账户数据库，并检查模型列表、流式输出与升级回滚。

网昱算力学院 · 技术编辑6 分钟

推理与性能优化PostgreSQL

知识 · 推理与性能优化2026-10-06

PostgreSQL与pgvector构建中文检索：1024维索引、版本隔离和召回测试

从本地数据库到BGE-M3向量入库建立完整检索链路，保留原文页码与模型版本，先验证精确搜索，再判断是否需要近似索引。

网昱算力学院 · 技术编辑7 分钟

推理与性能优化vLLM

知识 · 推理与性能优化2026-10-06

vLLM结构化输出：JSON Schema约束、字段验证与失败重试

使用JSON Schema限制模型输出结构，配合业务校验处理缺失字段、格式正确但事实错误和输出截断，不把合法JSON当成可靠业务结果。

网昱算力学院 · 技术编辑6 分钟

推理与性能优化vLLM

知识 · 推理与性能优化2026-10-06

vLLM多LoRA服务：基础模型共享、适配器命名与租户隔离

在共享基础模型上挂载两个兼容LoRA，验证模型列表、目标名称与任务结果，控制并行适配器和rank，避免把动态加载接口直接交给普通用户。

网昱算力学院 · 技术编辑6 分钟

推理与性能优化Qwen3 Embedding

知识 · 推理与性能优化2026-10-06

Qwen3 Embedding加Reranker：候选召回、交叉评分与质量对照

用两个0.6B模型搭建召回后重排流程，明确查询指令、候选数量和评分格式，检查截断、中文任务和整体延迟，而不是把重排分数当作概率。

网昱算力学院 · 技术编辑7 分钟

集群运维与排障SSE

知识 · 集群运维与排障2026-10-06

大模型流式客户端：首字计时、读取超时、取消与失败恢复

编写SSE流式客户端，正确解析增量文本与结束标记，区分连接超时和生成停顿，检查客户端取消后的服务器资源回收，不盲目重试长任务。

网昱算力学院 · 技术编辑7 分钟

模型部署Qwen3-8B

知识 · 模型部署2026-10-06

Qwen3-8B用vLLM提供内网API：思考开关、模型下载与响应验证

从独立容器和本地权重开始部署Qwen3-8B，区分普通回答与思考模式，检查接口、显存、输出截断和模型版本，避免只跑通一条请求就投入使用。

网昱算力学院 · 技术编辑6 分钟

模型部署Qwen2.5-VL

知识 · 模型部署2026-10-06

Qwen2.5-VL-7B识图服务：本地图片、像素预算与OCR验收

将Qwen2.5-VL部署为内网识图接口，使用Base64传输本地图片，设置输入限制，并用细字、旋转和无目标样本检查视觉预处理与输出质量。

网昱算力学院 · 技术编辑6 分钟

模型部署BGE-M3

知识 · 模型部署2026-10-06

BGE-M3搭建中文向量接口：批量编码、长度限制与相似度校验

用FlagEmbedding和FastAPI建立BGE-M3向量服务，明确1024维稠密向量的含义，限制批量与输入，并检查查询和文档是否使用相同模型版本。

网昱算力学院 · 技术编辑7 分钟

模型部署faster-whisper

知识 · 模型部署2026-10-06

faster-whisper离线转写中文音频：CUDA依赖、SRT输出与长录音排障

部署本地语音转写流程，将音频转为带时间戳字幕，区分解码、VAD与识别耗时，检查长静音幻觉、术语错误和GPU依赖不匹配。

网昱算力学院 · 技术编辑7 分钟

模型部署Wan2.1

知识 · 模型部署2026-10-06

Wan2.1本地文生视频：1.3B模型、CPU卸载与结果验收

以Wan2.1的1.3B模型建立最小视频生成流程，记录代码与权重版本、固定种子，区分显存卸载和加速，并验证输出尺寸、时长与内容一致性。

网昱算力学院 · 技术编辑5 分钟

模型部署llama.cpp

知识 · 模型部署2026-10-06

llama.cpp编译CUDA服务：GGUF加载、GPU层数与上下文容量

从源码构建llama-server，使用官方Qwen GGUF权重，检查GPU卸载、模型名称、上下文和内存占用，区分CPU回退与真正的GPU推理。

网昱算力学院 · 技术编辑6 分钟

算力基础RTX 5090

知识 · 算力基础2026-10-06

RTX 5090部署32B模型：32GB显存怎样分给权重、缓存和运行时

用不同精度估算32B模型的权重底线，再把上下文、并发、运行时和供电纳入采购判断，说明为什么量化能装下不代表服务容量已经足够。

网昱算力学院 · 技术编辑2 分钟

算力基础RTX 4090

知识 · 算力基础2026-10-06

24GB、32GB与96GB显卡怎么选：RTX 4090、5090和RTX PRO 6000

将三类显卡按模型容量、供电、服务方式和软件验证比较，区分专业卡不同版本，避免只按TOPS或“最大模型参数”选设备。

网昱算力学院 · 技术编辑3 分钟

算力基础超微主板

知识 · 算力基础2026-10-06

超微主板平台怎么选：X13SWA-TF与M12SWA-TF的CPU、内存和扩展边界

以超微官方两块工作站主板为例，区分Intel W790与AMD WRX80平台，检查CPU清单、内存类型、PCIe拓扑和显卡物理空间，不把插槽数量当作可装卡数量。

网昱算力学院 · 技术编辑2 分钟

算力基础NVIDIA L4

知识 · 算力基础2026-10-06

L4与L40S推理服务器选择：24GB、48GB与低功耗密度的取舍

从模型容量、媒体任务、机箱风道和机柜功率比较L4与L40S，说明为什么低功耗多卡和较大显存少卡不能只按显存总和互相替代。

网昱算力学院 · 技术编辑2 分钟

算力基础双GPU

知识 · 算力基础2026-10-06

两张32GB显卡就是64GB吗：多GPU分片、PCIe路径与验收方法

明确显存相加、模型分片和实例复制的差异，用拓扑检查与业务对照判断双卡是否值得，避免把PCIe x16和NVLink视为同一种互联。

网昱算力学院 · 技术编辑2 分钟

集群运维与排障AMD ROCm

知识 · 集群运维与排障2026-09-14

AMD ROCm PyTorch容器部署：兼容矩阵、设备映射、算子验证与性能排查

使用AMD验证的ROCm PyTorch容器建立GPU环境，解释/dev/kfd、/dev/dri、HIP版本、设备权限和多卡验证，并避免把CUDA教程直接套到AMD平台。

网昱原创4 分钟

集群运维与排障Kubernetes GPU

知识 · 集群运维与排障2026-09-14

Kubernetes调度GPU任务：Device Plugin、资源声明、节点标签与Pending排障

从GPU节点驱动和设备插件开始，让Kubernetes上报nvidia.com/gpu或amd.com/gpu，编写最小测试Pod，并根据事件定位资源为零、Pod Pending和异构卡误调度。

网昱原创3 分钟

集群运维与排障DCGM Exporter

知识 · 集群运维与排障2026-09-14

DCGM Exporter监控GPU：Prometheus采集、关键指标、告警规则与故障演练

在每个GPU节点部署DCGM Exporter，通过9400端口输出Prometheus指标，解释温度、功耗、显存、PCIe、Xid和健康指标，并设计避免告警噪声的规则。

网昱原创3 分钟

推理与性能优化大模型压测

知识 · 推理与性能优化2026-09-14

大模型服务压测方法：TTFT、TPOT、并发吞吐、长短请求与P99容量边界

建立可复现的大模型API压测矩阵，区分首Token、逐Token、端到端延迟和吞吐，并通过固定请求率、真实长度分布和质量回归确定生产容量。

网昱原创3 分钟

集群运维与排障PyTorch

知识 · 集群运维与排障2026-09-14

PyTorch CUDA环境完整验收：驱动、运行时、cuDNN、算子与多卡逐层验证

从宿主机驱动到PyTorch张量、混合精度和多GPU通信逐层验收，解释nvidia-smi、nvcc与torch.version.cuda为何可能显示不同版本。

网昱原创5 分钟

算力基础KV Cache

知识 · 算力基础2026-09-14

大模型KV Cache容量计算与实测：从单请求上下文推导生产并发上限

解释KV Cache由层数、KV头、头维度、精度、上下文和并发共同决定，并用加载前后显存与阶梯压测校正理论容量。

网昱原创4 分钟

模型部署Qwen3-32B

知识 · 模型部署2026-09-14

双GPU部署Qwen3-32B：vLLM张量并行、显存预算、OpenAI接口与容量验收

在两张同型号GPU上部署Qwen3-32B，说明权重容量、KV Cache、PCIe/NVLink拓扑、张量并行启动、接口验证和单卡量化替代方案。

网昱原创4 分钟

推理与性能优化TensorRT-LLM

知识 · 推理与性能优化2026-09-14

TensorRT-LLM 1.3部署教程：NGC容器、trtllm-serve接口、指标与基准测试

依据新版trtllm-serve流程，从NGC容器启动OpenAI兼容服务，验证health、metrics和聊天接口，并用固定请求率建立性能基线。

网昱原创5 分钟

集群运维与排障NVIDIA Container Toolkit

知识 · 集群运维与排障2026-09-14

Ubuntu部署NVIDIA Container Toolkit：从宿主机驱动到Docker GPU透传完整排障

面向Ubuntu GPU服务器，从驱动检查、官方软件源、Docker运行时配置到CUDA容器验收，解释宿主机CUDA与容器CUDA的关系，并给出常见故障定位顺序。

网昱原创6 分钟

模型部署vLLM

知识 · 模型部署2026-09-14

vLLM Docker生产部署Qwen：模型缓存、OpenAI接口、显存预算与健康检查

从GPU容器基线开始，用vLLM官方镜像部署Qwen兼容API，详细解释缓存、IPC、上下文、显存利用率、认证、流式请求、升级回退和OOM排查。

网昱原创5 分钟

推理与性能优化SGLang

知识 · 推理与性能优化2026-09-14

SGLang部署大模型服务：单卡基线、张量并行、Radix缓存与压测方法

以SGLang启动OpenAI兼容服务，解释静态显存池、张量并行、前缀缓存和请求调度，并给出从单请求到混合长度压测的完整验收路线。

网昱原创4 分钟

集群运维与排障NCCL

知识 · 集群运维与排障2026-09-14

NCCL多GPU通信排障实战：从PCIe拓扑到all-reduce性能基线

按单卡、点对点、单机集合通信和多机网络四层排查NCCL初始化卡死与性能异常，包含拓扑读取、共享内存、网卡选择、日志采集和nccl-tests基线。

网昱原创4 分钟

模型部署Ollama

知识 · 模型部署2026-09-14

Ollama Docker GPU部署：模型目录持久化、API调用、显存判断与局域网安全

面向工作站和小型服务器，用Docker运行Ollama并持久化模型，验证GPU是否真正参与推理，设置局域网访问边界，并排查模型落到CPU、下载重复和上下文OOM。

网昱原创4 分钟

推理与性能优化AI算力

知识 · 推理与性能优化2026-08-10

llama.cpp量化格式选择：GGUF、显存分层与质量验证

为个人工作站或边缘设备选择合适GGUF量化并确定CPU与GPU分层策略，给出准备、实施、排错和验收方法。

网昱原创2 分钟

推理与性能优化AI算力

知识 · 推理与性能优化2026-08-10

RAG服务压测方法：拆分检索、重排与生成阶段的延迟

定位RAG系统到底慢在向量检索、重排、提示词拼接还是模型生成，给出准备、实施、排错和验收方法。

网昱原创2 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

Prometheus监控GPU推理服务：指标、看板与告警阈值

让推理服务的延迟、队列、显存和GPU故障可以被及时发现，给出准备、实施、排错和验收方法。

网昱原创2 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

Ubuntu GPU服务器初始化：磁盘、网络、用户权限与基础安全

把新到货GPU服务器整理成可审计、可回滚、可交接的基础运行环境，给出准备、实施、排错和验收方法。

网昱原创3 分钟

模型部署AI算力

知识 · 模型部署2026-08-10

vLLM多GPU张量并行部署：拓扑检查、启动参数与性能验证

在多张GPU上稳定启动单个大模型并验证张量并行是否真正带来容量与吞吐收益，给出准备、实施、排错和验收方法。

网昱原创3 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

PyTorch多机训练前检查：NCCL网络、端口、网卡与故障定位

在启动正式训练前排除多机通信、网卡选择和端口连通问题，给出准备、实施、排错和验收方法。

网昱原创3 分钟

模型部署AI算力

知识 · 模型部署2026-08-10

大模型离线下载与内网缓存：校验、断点续传和版本冻结

在外网不稳定或生产环境隔离时可靠交付模型文件，给出准备、实施、排错和验收方法，并提供可复核的实施步骤、风险边界与验收标准。

网昱原创2 分钟

模型部署AI算力

知识 · 模型部署2026-08-10

Ollama局域网服务部署：监听地址、反向代理、鉴权与访问控制

把个人电脑上的Ollama安全地开放给办公室局域网使用，给出准备、实施、排错和验收方法。

网昱原创2 分钟

模型部署AI算力

知识 · 模型部署2026-08-10

TensorRT-LLM引擎构建：模型转换、精度选择与一致性验证

将已确认许可和版本的模型转换成可重复构建的TensorRT-LLM推理引擎，给出准备、实施、排错和验收方法。

网昱原创2 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

Docker部署大模型的目录规划：镜像、权重、缓存、日志与备份

避免模型权重写入容器层、磁盘被缓存占满和升级后文件丢失，给出准备、实施、排错和验收方法。

网昱原创2 分钟

选型与采购AI算力

知识 · 选型与采购2026-08-10

GPU服务器上架验收：供电、散热、功耗限制与稳定性测试

避免服务器到货后因机柜供电、风道或温度问题无法持续满载，给出准备、实施、排错和验收方法。

网昱原创2 分钟

模型部署AI算力

知识 · 模型部署2026-08-10

ROCm与PyTorch部署检查：GPU识别、算子兼容和性能基线

在AMD GPU服务器上建立可复核的PyTorch训练与推理基础环境，给出准备、实施、排错和验收方法。

网昱原创3 分钟

推理与性能优化AI算力

知识 · 推理与性能优化2026-08-10

大模型推理服务上线检查清单：容量测试、监控告警、灰度与回滚

从单机验证走向生产服务，需要补齐容量测试、超时与限流、监控指标、故障恢复、灰度发布和回滚方案。本文提供一套可执行的上线检查流程。

网昱原创2 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

AI训练存储吞吐测试：小文件、顺序读写与多节点并发

在采购或上线前验证数据集、检查点和模型权重的真实存储性能，给出准备、实施、排错和验收方法。

网昱原创2 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

NVIDIA驱动、CUDA与容器环境逐层排错手册

解决nvidia-smi正常但容器看不到GPU、CUDA版本不匹配和框架启动失败，给出准备、实施、排错和验收方法。

网昱原创2 分钟

推理与性能优化AI算力

知识 · 推理与性能优化2026-08-10

KV Cache容量规划：上下文、并发与显存之间怎样换算

在模型上线前估算不同上下文和并发下的KV缓存压力，给出准备、实施、排错和验收方法。

网昱原创2 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

NVIDIA GPU XID错误处置：日志采集、隔离、复现与报修证据

在GPU掉卡、任务崩溃或节点异常时形成统一的XID故障响应流程，给出准备、实施、排错和验收方法。

网昱原创2 分钟

推理与性能优化AI算力

知识 · 推理与性能优化2026-08-10

模型API限流与排队：并发控制、超时预算和服务降级

避免突发长请求挤占全部显存并让普通请求发生级联超时，给出准备、实施、排错和验收方法。

网昱原创2 分钟

集群运维与排障AI算力

知识 · 集群运维与排障2026-08-10

大模型服务备份与恢复：配置、模型清单、索引和密钥边界

让模型服务在节点损坏或误操作后可以按既定时间恢复，而不是重新拼装环境，给出准备、实施、排错和验收方法。

网昱原创2 分钟

模型部署model-deployment

知识 · 模型部署2026-07-23

Qwen3 8B本地部署：Ollama安装、API调用与GPU检查

依据官方资料整理Qwen3 8B本地部署：Ollama安装、API调用与GPU检查的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

推理与性能优化inference-optimization

知识 · 推理与性能优化2026-07-23

Triton Inference Server部署：模型仓库、配置与动态批处理

依据官方资料整理Triton Inference Server部署：模型仓库、配置与动态批处理的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创4 分钟

推理与性能优化inference-optimization

知识 · 推理与性能优化2026-07-23

Transformers bitsandbytes量化：8位加载、4位配置与质量验证

依据官方资料整理Transformers bitsandbytes量化：8位加载、4位配置与质量验证的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创4 分钟

模型部署model-deployment

知识 · 模型部署2026-07-23

PEFT LoRA微调实践：数据准备、训练配置与适配器验收

依据官方资料整理PEFT LoRA微调实践：数据准备、训练配置与适配器验收的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

算力基础compute-basics

知识 · 算力基础2026-07-23

大模型显存怎么计算：权重、KV Cache、激活与运行余量

依据官方资料整理大模型显存怎么计算：权重、KV Cache、激活与运行余量的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

算力基础compute-basics

知识 · 算力基础2026-07-23

FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型

依据官方资料整理FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

算力基础compute-basics

知识 · 算力基础2026-07-23

PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理

依据官方资料整理PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

选型与采购selection-procurement

知识 · 选型与采购2026-07-23

GPU服务器供电设计：整机功耗、PDU、冗余与上架验收

依据官方资料整理GPU服务器供电设计：整机功耗、PDU、冗余与上架验收的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

选型与采购selection-procurement

知识 · 选型与采购2026-07-23

AI服务器存储选型：模型加载、训练数据、检查点与共享存储

依据官方资料整理AI服务器存储选型：模型加载、训练数据、检查点与共享存储的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

选型与采购selection-procurement

知识 · 选型与采购2026-07-23

AI服务器TCO计算：采购、电力、机房、软件与利用率

依据官方资料整理AI服务器TCO计算：采购、电力、机房、软件与利用率的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

选型与采购selection-procurement

知识 · 选型与采购2026-07-23

GPU选型方法：从模型任务反推显存、算力、互联和散热

依据官方资料整理GPU选型方法：从模型任务反推显存、算力、互联和散热的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。

网昱原创3 分钟

模型部署DeepSeek-R1

知识 · 模型部署2026-07-23

DeepSeek-R1 7B本地部署：Windows、Linux与Docker的Ollama完整教程

依据DeepSeek官方模型卡与Ollama模型库，说明7B蒸馏模型的硬件选择、三种安装方式、模型下载、API调用、数据目录迁移、局域网访问、日志排错和安全设置。

网昱原创7 分钟

模型部署DeepSeek-R1

知识 · 模型部署2026-07-23

DeepSeek-R1-Distill-Qwen-32B本地部署：vLLM双卡服务完整指南

依据DeepSeek官方模型卡和vLLM服务文档，完整说明硬件评估、环境检查、模型下载、双卡启动、API验证、性能测试、常见故障与生产化注意事项。

DeepSeek 官方文档8 分钟