Prometheus官方最佳实践导读：AI服务指标与标签治理
AI推理监控容易因模型、租户和请求标签产生高基数，必须在接入阶段约束指标设计，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
DOCUMENT CHANNELS
按资料类型浏览
集中查找模型、芯片、系统、标准和软件版本资料，并核对发布机构、更新时间与适用范围。
FEATURED READING
值得优先阅读的技术资料
DOCUMENT LIBRARY
最新收录资料
当前收录 30 份资料，可查看中文导读、资料出处，并在线阅读或下载允许本站保存的原始文件。
vLLM官方文档参数索引：显存、并行、上下文与服务接口
vLLM参数会同时影响模型能否加载、KV缓存容量、并发吞吐和接口兼容性，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
Transformers大模型推理文档导读：设备映射、量化与离线加载
Transformers文档覆盖模型加载、device map、低精度、缓存和自定义代码，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
Hugging Face模型卡阅读方法：许可、版本、输入格式与限制
模型卡是判断模型来源、许可、输入模板、评测与限制的第一入口，但不能代替本地验证，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
SGLang官方部署文档索引：服务启动、并行策略与性能调优
SGLang覆盖模型服务、结构化生成、缓存与分布式推理，版本变化较快，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
CUDA兼容性文档导读：驱动、运行时与容器镜像怎样匹配
驱动版本决定可支持的CUDA运行时上限，容器内Toolkit与宿主机驱动不是同一组件，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
NVIDIA GPU Operator官方文档阅读指南：Kubernetes驱动与设备插件
GPU Operator用于在Kubernetes中管理驱动、Container Toolkit、Device Plugin、DCGM监控等组件，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
NVIDIA DCGM官方文档导读：健康检查、指标与诊断
DCGM为数据中心GPU提供遥测、健康检查和诊断能力，是集群监控与故障证据的重要来源，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
ROCm兼容性矩阵阅读指南：硬件、系统、内核与框架版本
ROCm环境能否稳定运行取决于GPU、操作系统、内核和框架的组合，而非单一版本号，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
PyTorch CUDA语义官方文档导读：设备、流、内存与确定性
CUDA语义文档解释设备选择、异步执行、CUDA stream、内存分配器和精度行为，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
NCCL用户指南中文索引：通信操作、环境变量与故障排查
NCCL是多GPU集合通信基础，网络选择和拓扑直接影响训练扩展效率，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
Kubernetes设备插件机制导读：GPU发现、分配与健康状态
设备插件把GPU等硬件资源注册给kubelet，但不负责完整驱动生命周期和共享策略，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
KServe官方文档导读：模型服务、自动扩缩与推理协议
KServe用于在Kubernetes上交付模型服务，但其收益建立在集群、存储、网关和监控已经可维护的基础上，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
ONNX Runtime GPU文档导读：执行提供程序与版本匹配
ONNX Runtime通过执行提供程序连接CUDA、TensorRT、ROCm等后端，版本与算子覆盖决定模型能否正确运行，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
MLPerf Inference结果阅读指南：场景、精度、吞吐与可比性
MLPerf提供标准任务和规则，但结果只在相同场景、质量约束和系统配置下可比较，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
OpenAI兼容接口设计说明：哪些字段兼容、哪些行为必须实测
不同推理框架都声称兼容接口，但工具调用、流式输出、错误码和token统计常有差异，本文整理阅读顺序、工程重点和验证方法。
来源：网昱原创收录日期：2026-08-10
Kimi K3技术报告中文阅读索引：架构、量化、上下文与部署参数
基于月之暗面官方技术报告和模型仓库，整理Kimi K3的MoE结构、注意力组成、低精度格式、视觉编码器、上下文长度及部署时应重点核对的参数。
来源：网昱原创收录日期：2026-07-27
LLMQ：消费级GPU上的低精度大模型训练论文
论文给出面向消费级GPU的CUDA/C++低精度大模型训练实现，讨论激活检查点、卸载、通信和显存受限条件下3B至32B模型的训练设计。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2026-03-2320 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
Dovetail大模型服务系统：GPU资源利用率与请求调度研究
论文面向在线大模型请求的长度差异与资源浪费，研究GPU任务编排和服务策略，重点观察吞吐、延迟目标与利用率之间的关系。
来源：ACL Anthology收录日期：2025-11-0114 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
硬件感知的并行提示词解码：让推理优化匹配真实GPU特性
论文从GPU内存与并行执行约束出发优化提示词处理，说明算法加速必须与硬件带宽、缓存和算子执行方式共同设计。
来源：ACL Anthology收录日期：2025-11-0118 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
高效大模型推理服务综述：从KV缓存、批处理到多GPU并行
这份综述把大模型在线服务拆成模型压缩、KV缓存管理、连续批处理、推测解码、并行部署和多模型共享六类问题，适合作为推理平台选型的技术地图。
来源：ACL Anthology收录日期：2025-09-0120 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
Ladder-Residual：通信重叠加速大模型并行推理
针对多GPU大模型推理中的通信等待，提出并行感知模型结构以重叠通信与计算。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1314 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
EncryptedLLM：GPU加速全同态加密的大模型隐私推理
研究利用GPU加速全同态加密执行隐私保护的大模型推理，评估密码计算、模型结构和性能开销。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1312 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
如何识别云端大模型背后的GPU与软件栈：黑盒平台推断研究
研究利用不同GPU架构与编译软件产生的数值差异，判断黑盒模型服务实际使用的平台，为算力租赁验收和服务真实性审计提供新思路。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1314 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
一台服务承载数千个LoRA适配器：压缩、缓存与动态加载方案
论文研究多租户推理中大量LoRA适配器的存储、传输和切换开销，给出先压缩再服务的系统方法，并讨论吞吐与质量边界。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1334 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
FloE：显存受限GPU上的MoE模型即时推理论文
面向专家混合模型在消费级GPU上部署的显存难题，论文提出按需处理专家参数的推理机制，并报告在RTX 3090等受限硬件上的容量、速度与精度权衡。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1324 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
SliM-LLM：大语言模型显著性驱动混合精度量化论文
论文研究如何依据权重显著性为大模型分配不同量化位宽，在降低显存和存储成本的同时控制精度损失，并给出2-bit等低位宽实验。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1321 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
ShadowKV：长上下文大模型高吞吐推理的KV Cache优化论文
论文针对长上下文推理中KV Cache迅速占满GPU显存的问题，提出ShadowKV缓存组织方案，并从显存占用、解码延迟和端到端吞吐评估其效果。
来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1319 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
大模型推理能耗与效率：部署优化如何影响实际能源需求
分析大模型推理、服务负载和效率优化的能源影响，帮助把Token吞吐、硬件利用率与功耗放到同一评估框架。
来源：ACL Anthology收录日期：2025-07-0114 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
BF16、FP8、INT8还是INT4：大模型量化的精度与吞吐实测研究
论文在多代GPU与vLLM服务环境中比较BF16、FP8、INT8和INT4，不只测模型精度，还把硬件算子、并发方式和成本效率纳入评价。
来源：ACL Anthology收录日期：2025-07-0115 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
SOURCE & ACCESS
查看来源与版权说明 →资料出处清楚，阅读方式明确
每份资料注明发布机构、原文标题、更新时间和许可信息；允许本站保存的文件可直接在线阅读和下载，其他资料提供中文导读与官方来源。