先判断SGLang适不适合你的负载
SGLang适合需要高吞吐、结构化生成、前缀复用或复杂Agent调用的服务。它并不是“安装后必然比其他框架快”；收益取决于模型支持、请求长度、缓存命中和GPU。应先建立单卡基线，再开启张量并行和激进缓存参数。
创建隔离环境并保存版本
python3 -m venv /opt/venvs/sglang
source /opt/venvs/sglang/bin/activate
python -m pip install -U pip
pip install sglang
python -c "import sglang; print(sglang.__version__)"
pip freeze > /opt/venvs/sglang-requirements.txt
nvidia-smi生产环境更推荐使用官方文档对应的容器或锁定文件。Python包、Torch、CUDA扩展和驱动必须作为一组验证，不能只记录SGLang版本。
用保守参数启动单卡服务
CUDA_VISIBLE_DEVICES=0 python -m sglang.launch_server \
--model-path Qwen/Qwen3-8B \
--host 127.0.0.1 \
--port 30000 \
--mem-fraction-static 0.82 \
--context-length 8192静态显存池会提前为KV缓存和运行时分配空间。比例过高可能在CUDA Graph或峰值计算时OOM，过低则能承载的并发与上下文减少。首次部署保留15%到20%余量，观察真实峰值后再调整。
验证兼容接口和模型名称
curl -sS http://127.0.0.1:30000/v1/models | python -m json.tool
curl -sS http://127.0.0.1:30000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Qwen/Qwen3-8B","messages":[{"role":"user","content":"给出三项推理服务验收指标。"}],"temperature":0.1,"max_tokens":128}' \
| python -m json.tool若模型输出角色标记、空白或重复内容，先核对Tokenizer与聊天模板，不要把问题归因于GPU性能。再测试流式响应、超时、中断和最大输出限制。
Radix缓存怎样产生收益
多轮对话、统一系统提示词和同一文档的连续问答会重复计算公共前缀。SGLang的RadixAttention组织前缀KV缓存，使后续请求复用已有结果。验证时应准备两组请求：一组共享长前缀，一组完全不同；预热后分别测首Token延迟。只有共享组明显改善，才能说明缓存命中生效。
缓存不是免费资源。前缀过多会占据显存并触发淘汰；内容含用户隐私时，还要确认缓存键与租户隔离。生产监控应记录命中率、淘汰、可用缓存和长请求占比。
双卡张量并行
CUDA_VISIBLE_DEVICES=0,1 python -m sglang.launch_server \
--model-path /data/models/your-model \
--tp-size 2 \
--host 127.0.0.1 --port 30000 \
--mem-fraction-static 0.82先执行 `nvidia-smi topo -m`，确保两卡路径与预期一致。若启动卡住，开启框架日志并单独跑NCCL测试。两卡主要解决模型容量或提高某些负载吞吐，不保证单请求延迟减半。
有意义的压测矩阵
把请求分为四类：短输入短输出、长输入短输出、短输入长输出、共享长前缀。每类固定数据，依次测试1、4、8、16并发。记录成功吞吐、TTFT、TPOT、P50/P95/P99、显存峰值和输出Token。每级持续数分钟并包含预热，直到延迟目标被突破或出现拒绝。
不要只用相同提示词轰炸服务，那会把缓存收益误当作普遍吞吐。也不要让压测客户端与服务端争用同一CPU或网络。
故障定位
- 启动OOM：降低静态显存比例和上下文，确认无其他进程占卡。
- 首Token慢：区分模型加载、排队、prefill和缓存未命中。
- 双卡更慢：检查NCCL、PCIe/NVLink拓扑和请求是否太小。
- 输出错误：锁定模型提交、Tokenizer、聊天模板和量化配置。
- 高并发波动：检查长短请求混排、缓存淘汰和客户端连接池。
最终上线参数应来自你的压测矩阵，而不是复制其他GPU上的“最佳配置”。
