模型部署model-deployment知识 · 模型部署
Qwen3 8B本地部署：Ollama安装、API调用与GPU检查
依据官方资料整理Qwen3 8B本地部署：Ollama安装、API调用与GPU检查的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
模型部署model-deployment
模型部署model-deployment知识 · 模型部署
Qwen3 32B本地部署：vLLM双卡OpenAI兼容服务
依据官方资料整理Qwen3 32B本地部署：vLLM双卡OpenAI兼容服务的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
模型部署model-deployment知识 · 模型部署
vLLM Docker生产化部署：GPU透传、模型缓存与OpenAI接口
依据官方资料整理vLLM Docker生产化部署：GPU透传、模型缓存与OpenAI接口的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
推理与性能优化inference-optimization知识 · 推理与性能优化
SGLang推理服务部署：模型启动、OpenAI接口与显存参数
依据官方资料整理SGLang推理服务部署：模型启动、OpenAI接口与显存参数的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
集群运维与排障cluster-operations知识 · 集群运维与排障
PyTorch CUDA环境安装与验证：驱动、运行时和框架逐层排查
依据官方资料整理PyTorch CUDA环境安装与验证：驱动、运行时和框架逐层排查的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
集群运维与排障cluster-operations知识 · 集群运维与排障
Kubernetes部署GPU任务：Device Plugin、资源声明与节点排障
依据官方资料整理Kubernetes部署GPU任务：Device Plugin、资源声明与节点排障的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
集群运维与排障cluster-operations知识 · 集群运维与排障
NVIDIA Container Toolkit安装验证：让Docker稳定调用GPU
依据官方资料整理NVIDIA Container Toolkit安装验证：让Docker稳定调用GPU的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
集群运维与排障cluster-operations知识 · 集群运维与排障
NCCL多GPU通信排障：拓扑、网卡、日志与最小测试
依据官方资料整理NCCL多GPU通信排障：拓扑、网卡、日志与最小测试的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
推理与性能优化inference-optimization知识 · 推理与性能优化
TensorRT-LLM部署流程：模型转换、引擎构建与服务验收
依据官方资料整理TensorRT-LLM部署流程：模型转换、引擎构建与服务验收的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
推理与性能优化inference-optimization知识 · 推理与性能优化
Triton Inference Server部署：模型仓库、配置与动态批处理
依据官方资料整理Triton Inference Server部署：模型仓库、配置与动态批处理的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
推理与性能优化inference-optimization知识 · 推理与性能优化
Transformers bitsandbytes量化：8位加载、4位配置与质量验证
依据官方资料整理Transformers bitsandbytes量化：8位加载、4位配置与质量验证的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
模型部署model-deployment知识 · 模型部署
PEFT LoRA微调实践：数据准备、训练配置与适配器验收
依据官方资料整理PEFT LoRA微调实践：数据准备、训练配置与适配器验收的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
集群运维与排障cluster-operations知识 · 集群运维与排障
AMD ROCm PyTorch环境部署：兼容矩阵、容器与GPU验证
依据官方资料整理AMD ROCm PyTorch环境部署：兼容矩阵、容器与GPU验证的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
集群运维与排障cluster-operations知识 · 集群运维与排障
DCGM Exporter GPU监控：Prometheus指标、告警与异常定位
依据官方资料整理DCGM Exporter GPU监控：Prometheus指标、告警与异常定位的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
大模型显存怎么计算：权重、KV Cache、激活与运行余量
依据官方资料整理大模型显存怎么计算：权重、KV Cache、激活与运行余量的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型
依据官方资料整理FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理
依据官方资料整理PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
KV Cache容量规划：上下文、并发、分页缓存与OOM边界
依据官方资料整理KV Cache容量规划：上下文、并发、分页缓存与OOM边界的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
选型与采购selection-procurement知识 · 选型与采购
GPU服务器供电设计：整机功耗、PDU、冗余与上架验收
依据官方资料整理GPU服务器供电设计：整机功耗、PDU、冗余与上架验收的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
选型与采购selection-procurement知识 · 选型与采购
AI服务器存储选型：模型加载、训练数据、检查点与共享存储
依据官方资料整理AI服务器存储选型：模型加载、训练数据、检查点与共享存储的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
选型与采购selection-procurement知识 · 选型与采购
AI服务器TCO计算：采购、电力、机房、软件与利用率
依据官方资料整理AI服务器TCO计算：采购、电力、机房、软件与利用率的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
选型与采购selection-procurement知识 · 选型与采购
GPU选型方法：从模型任务反推显存、算力、互联和散热
依据官方资料整理GPU选型方法：从模型任务反推显存、算力、互联和散热的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
模型部署DeepSeek-R1知识 · 模型部署
DeepSeek-R1 7B本地部署：Windows、Linux与Docker的Ollama完整教程
依据DeepSeek官方模型卡与Ollama模型库，说明7B蒸馏模型的硬件选择、三种安装方式、模型下载、API调用、数据目录迁移、局域网访问、日志排错和安全设置。
网昱原创7 分钟
模型部署DeepSeek-R1知识 · 模型部署
DeepSeek-R1-Distill-Qwen-32B本地部署：vLLM双卡服务完整指南
依据DeepSeek官方模型卡和vLLM服务文档，完整说明硬件评估、环境检查、模型下载、双卡启动、API验证、性能测试、常见故障与生产化注意事项。
DeepSeek 官方文档8 分钟