集群运维与排障AMD ROCm知识 · 集群运维与排障
AMD ROCm PyTorch容器部署：兼容矩阵、设备映射、算子验证与性能排查
使用AMD验证的ROCm PyTorch容器建立GPU环境，解释/dev/kfd、/dev/dri、HIP版本、设备权限和多卡验证，并避免把CUDA教程直接套到AMD平台。
网昱原创4 分钟
集群运维与排障AMD ROCm
集群运维与排障Kubernetes GPU知识 · 集群运维与排障
Kubernetes调度GPU任务：Device Plugin、资源声明、节点标签与Pending排障
从GPU节点驱动和设备插件开始，让Kubernetes上报nvidia.com/gpu或amd.com/gpu，编写最小测试Pod，并根据事件定位资源为零、Pod Pending和异构卡误调度。
网昱原创3 分钟
集群运维与排障DCGM Exporter知识 · 集群运维与排障
DCGM Exporter监控GPU：Prometheus采集、关键指标、告警规则与故障演练
在每个GPU节点部署DCGM Exporter，通过9400端口输出Prometheus指标，解释温度、功耗、显存、PCIe、Xid和健康指标，并设计避免告警噪声的规则。
网昱原创3 分钟
推理与性能优化大模型压测知识 · 推理与性能优化
大模型服务压测方法：TTFT、TPOT、并发吞吐、长短请求与P99容量边界
建立可复现的大模型API压测矩阵，区分首Token、逐Token、端到端延迟和吞吐，并通过固定请求率、真实长度分布和质量回归确定生产容量。
网昱原创3 分钟
集群运维与排障PyTorch知识 · 集群运维与排障
PyTorch CUDA环境完整验收：驱动、运行时、cuDNN、算子与多卡逐层验证
从宿主机驱动到PyTorch张量、混合精度和多GPU通信逐层验收，解释nvidia-smi、nvcc与torch.version.cuda为何可能显示不同版本。
网昱原创5 分钟
算力基础KV Cache知识 · 算力基础
大模型KV Cache容量计算与实测：从单请求上下文推导生产并发上限
解释KV Cache由层数、KV头、头维度、精度、上下文和并发共同决定，并用加载前后显存与阶梯压测校正理论容量。
网昱原创4 分钟
模型部署Qwen3-32B知识 · 模型部署
双GPU部署Qwen3-32B：vLLM张量并行、显存预算、OpenAI接口与容量验收
在两张同型号GPU上部署Qwen3-32B，说明权重容量、KV Cache、PCIe/NVLink拓扑、张量并行启动、接口验证和单卡量化替代方案。
网昱原创4 分钟
推理与性能优化TensorRT-LLM知识 · 推理与性能优化
TensorRT-LLM 1.3部署教程：NGC容器、trtllm-serve接口、指标与基准测试
依据新版trtllm-serve流程，从NGC容器启动OpenAI兼容服务，验证health、metrics和聊天接口，并用固定请求率建立性能基线。
网昱原创5 分钟
集群运维与排障NVIDIA Container Toolkit知识 · 集群运维与排障
Ubuntu部署NVIDIA Container Toolkit：从宿主机驱动到Docker GPU透传完整排障
面向Ubuntu GPU服务器，从驱动检查、官方软件源、Docker运行时配置到CUDA容器验收，解释宿主机CUDA与容器CUDA的关系，并给出常见故障定位顺序。
网昱原创6 分钟
模型部署vLLM知识 · 模型部署
vLLM Docker生产部署Qwen：模型缓存、OpenAI接口、显存预算与健康检查
从GPU容器基线开始，用vLLM官方镜像部署Qwen兼容API，详细解释缓存、IPC、上下文、显存利用率、认证、流式请求、升级回退和OOM排查。
网昱原创5 分钟
推理与性能优化SGLang知识 · 推理与性能优化
SGLang部署大模型服务：单卡基线、张量并行、Radix缓存与压测方法
以SGLang启动OpenAI兼容服务，解释静态显存池、张量并行、前缀缓存和请求调度，并给出从单请求到混合长度压测的完整验收路线。
网昱原创4 分钟
集群运维与排障NCCL知识 · 集群运维与排障
NCCL多GPU通信排障实战：从PCIe拓扑到all-reduce性能基线
按单卡、点对点、单机集合通信和多机网络四层排查NCCL初始化卡死与性能异常，包含拓扑读取、共享内存、网卡选择、日志采集和nccl-tests基线。
网昱原创4 分钟
模型部署Ollama知识 · 模型部署
Ollama Docker GPU部署：模型目录持久化、API调用、显存判断与局域网安全
面向工作站和小型服务器，用Docker运行Ollama并持久化模型，验证GPU是否真正参与推理，设置局域网访问边界，并排查模型落到CPU、下载重复和上下文OOM。
网昱原创4 分钟
选型与采购AI算力集群运维与排障AI算力知识 · 集群运维与排障
NVIDIA驱动、CUDA与容器环境逐层排错手册
解决nvidia-smi正常但容器看不到GPU、CUDA版本不匹配和框架启动失败，给出准备、实施、排错和验收方法。
网昱原创2 分钟
模型部署AI算力模型部署AI算力集群运维与排障AI算力推理与性能优化AI算力模型部署AI算力知识 · 模型部署
大模型离线下载与内网缓存：校验、断点续传和版本冻结
在外网不稳定或生产环境隔离时可靠交付模型文件，给出准备、实施、排错和验收方法，并提供可复核的实施步骤、风险边界与验收标准。
网昱原创2 分钟
集群运维与排障AI算力集群运维与排障AI算力集群运维与排障AI算力知识 · 集群运维与排障
Ubuntu GPU服务器初始化：磁盘、网络、用户权限与基础安全
把新到货GPU服务器整理成可审计、可回滚、可交接的基础运行环境，给出准备、实施、排错和验收方法。
网昱原创3 分钟
推理与性能优化AI算力模型部署AI算力知识 · 模型部署
TensorRT-LLM引擎构建：模型转换、精度选择与一致性验证
将已确认许可和版本的模型转换成可重复构建的TensorRT-LLM推理引擎，给出准备、实施、排错和验收方法。
网昱原创2 分钟
模型部署AI算力知识 · 模型部署
ROCm与PyTorch部署检查：GPU识别、算子兼容和性能基线
在AMD GPU服务器上建立可复核的PyTorch训练与推理基础环境，给出准备、实施、排错和验收方法。
网昱原创3 分钟
推理与性能优化AI算力集群运维与排障AI算力推理与性能优化AI算力知识 · 推理与性能优化
llama.cpp量化格式选择：GGUF、显存分层与质量验证
为个人工作站或边缘设备选择合适GGUF量化并确定CPU与GPU分层策略，给出准备、实施、排错和验收方法。
网昱原创2 分钟
集群运维与排障AI算力