推理与性能优化大模型压测知识 · 推理与性能优化
大模型服务压测方法：TTFT、TPOT、并发吞吐、长短请求与P99容量边界
建立可复现的大模型API压测矩阵，区分首Token、逐Token、端到端延迟和吞吐，并通过固定请求率、真实长度分布和质量回归确定生产容量。
网昱原创3 分钟
推理与性能优化大模型压测推理与性能优化TensorRT-LLM知识 · 推理与性能优化
TensorRT-LLM 1.3部署教程：NGC容器、trtllm-serve接口、指标与基准测试
依据新版trtllm-serve流程，从NGC容器启动OpenAI兼容服务，验证health、metrics和聊天接口，并用固定请求率建立性能基线。
网昱原创5 分钟
推理与性能优化SGLang知识 · 推理与性能优化
SGLang部署大模型服务：单卡基线、张量并行、Radix缓存与压测方法
以SGLang启动OpenAI兼容服务，解释静态显存池、张量并行、前缀缓存和请求调度，并给出从单请求到混合长度压测的完整验收路线。
网昱原创4 分钟
推理与性能优化AI算力知识 · 推理与性能优化
llama.cpp量化格式选择：GGUF、显存分层与质量验证
为个人工作站或边缘设备选择合适GGUF量化并确定CPU与GPU分层策略，给出准备、实施、排错和验收方法。
网昱原创2 分钟
推理与性能优化AI算力知识 · 推理与性能优化
大模型推理服务上线检查清单：容量测试、监控告警、灰度与回滚
从单机验证走向生产服务，需要补齐容量测试、超时与限流、监控指标、故障恢复、灰度发布和回滚方案。本文提供一套可执行的上线检查流程。
网昱原创2 分钟
推理与性能优化AI算力推理与性能优化AI算力推理与性能优化AI算力推理与性能优化inference-optimization知识 · 推理与性能优化
Triton Inference Server部署：模型仓库、配置与动态批处理
依据官方资料整理Triton Inference Server部署：模型仓库、配置与动态批处理的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟
推理与性能优化inference-optimization知识 · 推理与性能优化
Transformers bitsandbytes量化：8位加载、4位配置与质量验证
依据官方资料整理Transformers bitsandbytes量化：8位加载、4位配置与质量验证的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创4 分钟