网昱服务登录 / 用户中心
网昱服务登录 / 用户中心
GLOBAL AI DOCUMENT INTELLIGENCE

AI技术文档与白皮书

持续追踪海外GPU、AI模型、推理框架和基础设施资料，通过中文导读、版本标记和本地原文帮助国内用户理解最新技术变化。

浏览最新资料了解来源与版权规则
DOCUMENT CHANNELS

按资料类型浏览

集中查找模型、芯片、系统、标准和软件版本资料，并核对发布机构、更新时间与适用范围。

01

官方技术文档

安装、部署、API、运维与性能优化指南

查看资料 →02

模型与AI研究报告

模型架构、训练方法、推理优化与学术研究

查看资料 →03

芯片、系统与架构白皮书

GPU、服务器、互联、存储与智算基础设施

查看资料 →04

标准、评测与AI安全

技术标准、性能评测、风险治理与安全体系

查看资料 →05

版本说明与兼容性

驱动、框架、推理引擎的版本变化与兼容矩阵

查看资料 →
FEATURED READING

值得优先阅读的技术资料

  1. 大语言模型压缩技术综述系统了解量化、剪枝、蒸馏与低成本推理路线
  2. QUIK 4-bit 推理研究理解低比特量化如何影响显存、速度与模型精度
  3. NIST 生成式 AI 风险管理指南从治理、测量和管理角度建立生成式AI风险框架
  4. NIST AI 偏差识别与管理标准识别数据、模型和实际应用中的偏差来源
  5. 生成式 AI 安全开发实践把安全要求落实到模型和软件开发生命周期
DOCUMENT LIBRARY

最新收录资料

当前收录 58 份资料，可查看中文导读、资料出处，并在线阅读或下载允许本站保存的原始文件。

模型与AI研究报告原始文档可阅读

LLMQ：消费级GPU上的低精度大模型训练论文

论文给出面向消费级GPU的CUDA/C++低精度大模型训练实现，讨论激活检查点、卸载、通信和显存受限条件下3B至32B模型的训练设计。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2026-03-2320 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

高效大模型推理服务综述：从KV缓存、批处理到多GPU并行

这份综述把大模型在线服务拆成模型压缩、KV缓存管理、连续批处理、推测解码、并行部署和多模型共享六类问题，适合作为推理平台选型的技术地图。

来源：ACL Anthology收录日期：2025-09-0120 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

GLM-4.5技术报告：智能体、推理与代码能力的训练路线

报告把智能体、推理和代码作为统一训练目标，说明MoE、混合思考模式及分阶段后训练之间的关系。355B总参数与32B激活参数是两个不同的容量口径，部署时仍需容纳完整专家权重。阅读时先核对模型架构，再比较评测条件、采样次数和工具环境，最后查看GLM-4.5-Air的取舍。

来源：原作者 · arXiv收录日期：2025-08-0826 页许可：CC BY 4.0
芯片、系统与架构白皮书原始文档可阅读

异构GPU推理成本研究：硬件组合、请求分配与预算约束

这篇研究围绕不同GPU的计算和显存特性，分析怎样组合资源并分配差异化请求。成本效率的前提是相同服务目标，而不是把最快卡和最便宜卡简单相加。可据此比较短交互、长文和离线批量队列，核算满足P95时延时的完成量、空闲资源与调度复杂度；实际租赁价格应使用当前报价。

来源：PMLR收录日期：2025-07-1319 页许可：CC BY 4.0
芯片、系统与架构白皮书原始文档可阅读

MxMoE：混合精度专家量化与GroupGEMM协同设计

不同专家的激活频率与量化敏感性会共同影响运行效率。MxMoE把位宽配置和混合精度GroupGEMM内核联动设计，因此比单纯压缩权重更接近系统问题。复现应保存每层位宽、校准样本、内核编译参数与硬件型号，同时记录模型质量和端到端延迟，不把混合格式总大小当成GPU执行性能。

来源：PMLR收录日期：2025-07-1314 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

如何识别云端大模型背后的GPU与软件栈：黑盒平台推断研究

研究利用不同GPU架构与编译软件产生的数值差异，判断黑盒模型服务实际使用的平台，为算力租赁验收和服务真实性审计提供新思路。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1314 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

SliM-LLM：大语言模型显著性驱动混合精度量化论文

论文研究如何依据权重显著性为大模型分配不同量化位宽，在降低显存和存储成本的同时控制精度损失，并给出2-bit等低位宽实验。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1321 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

Ladder-Residual：通信重叠加速大模型并行推理

针对多GPU大模型推理中的通信等待，提出并行感知模型结构以重叠通信与计算。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1314 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

LV-XAttn：长视频和多图输入的分布式交叉注意力

大量视觉token可能比文本侧查询长得多。LV-XAttn利用这种长度不对称，保留较大的键值块并交换较小的查询块，降低分布式交叉注意力通信。适用于理解长视频、多图模型的系统瓶颈；只有模型具有相应交叉注意力结构才有迁移基础，不能把它当成任意VLM的通用开关。

来源：PMLR收录日期：2025-07-1313 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

SKIM量化论文：任意位宽分配与缩放聚类

SKIM讨论的不只是常见INT4或INT8，而是怎样按通道敏感性分配位宽并优化聚类缩放。模型文件的平均位宽、GPU实际执行格式和运行时反量化开销必须区分。阅读实验时应同时核对困惑度、任务准确率、校准成本和是否存在目标GPU可用的内核，不能只凭压缩率决定采购。

来源：PMLR收录日期：2025-07-1315 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

AdaSplash：面向真实稀疏度的自适应Flash Attention

稀疏注意力的理论计算量减少，不一定能抵消动态选择与不规则访存的开销。AdaSplash聚焦自适应稀疏执行。理解其适用条件应同时检查序列长度、注意力分布、GPU内核和质量约束，再设计与密集实现相同输入的对照。短序列、低并发和极端分布可能改变收益，最大加速数字不是通用服务承诺。

来源：PMLR收录日期：2025-07-1319 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

Dialogue Without Limits：多轮会话中的固定容量KV缓存

无限增加会话历史并不现实，固定缓存必须决定哪些信息保留、压缩或丢弃。论文研究持续对话的内存边界。业务验证不能只测平均语言质量，还应安排早期约束重提、用户纠正、跨轮数字与隐私删除场景；模型记忆与数据库存档是不同概念，不能用缓存方案替代审计记录。

来源：PMLR收录日期：2025-07-1315 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

HashAttention：用哈希空间寻找关键token的推理加速

该方法将注意力中的重要token搜索转化为近似检索问题，利用学习得到的哈希表示和位运算筛选候选。额外表示、训练适配和推理内核都是系统组成部分。阅读时重点看候选召回与最终输出质量的差别，并测试信息分散、重复文字和细粒度引用任务，不能仅比较注意力单个算子的速度。

来源：PMLR收录日期：2025-07-1317 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

FloE：显存受限GPU上的MoE模型即时推理论文

面向专家混合模型在消费级GPU上部署的显存难题，论文提出按需处理专家参数的推理机制，并报告在RTX 3090等受限硬件上的容量、速度与精度权衡。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1324 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

Star Attention：长序列推理的分块注意力与多主机协作

长上下文不仅占显存，还增加预填充计算和跨节点通信。Star Attention把上下文处理与后续问答分成不同阶段，利用局部分块处理和全局缓存访问减少开销。项目评估应关注块边界附近信息、跨块问题和多主机通信；报告中的加速来自指定模型与负载，不可直接换算为普通短问答收益。

来源：PMLR收录日期：2025-07-1316 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

RocketKV：长上下文KV缓存的两阶段压缩方法

RocketKV将永久驱逐与细粒度稀疏注意力组合，重点降低长文本解码阶段的缓存压力。缓存压缩会改变模型可访问的信息，尤其需要验证跨段引用、数字提取和多轮追加的问题。论文包含不同压缩强度和任务结果，适合建立质量—显存—延迟的三维对照，而不是直接套用最大的压缩倍数。

来源：PMLR收录日期：2025-07-1335 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

Text-to-LoRA：由自然语言任务描述生成适配器

Text-to-LoRA使用超网络根据任务描述生成LoRA，而不是每个新任务都重新进行完整微调。报告区分已见任务重构与未见任务泛化。应用前要检查基础模型、超网络训练覆盖和生成适配器的质量，不应理解为任意中文任务都能零成本达到专门训练的效果；适配器的隔离和回滚同样重要。

来源：PMLR收录日期：2025-07-1330 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

ShadowKV：长上下文大模型高吞吐推理的KV Cache优化论文

论文针对长上下文推理中KV Cache迅速占满GPU显存的问题，提出ShadowKV缓存组织方案，并从显存占用、解码延迟和端到端吞吐评估其效果。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2025-07-1319 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

MoEQuant：专家均衡采样与亲和度引导量化

MoE量化的难点是校准样本经过动态路由后并不平均覆盖每个专家。MoEQuant分别处理专家之间和专家内部样本分布不均，强调校准数据与专家贡献的关系。准备量化部署时，应统计路由覆盖、低频专家与业务长尾任务，避免用一小批通用文本代表所有中文、代码和工具调用场景。

来源：PMLR收录日期：2025-07-1316 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

InternVL3技术报告：多模态训练、视觉输入与测试时扩展

InternVL3研究怎样把视觉理解、语言能力和测试时推理结合起来。它适合用于分析文档图像、复杂图表与多图任务，不应只看综合榜单。实际项目需分别验证缩放后的细字识别、跨页信息关联、图表数值和无答案拒答；视觉编码器占用与语言模型缓存也应分开记录。

来源：原作者 · arXiv收录日期：2025-04-1427 页许可：CC BY 4.0
标准、评测与AI安全原始文档可阅读

NIST生成式AI安全开发实践：基础模型软件供应链与生命周期指南

在NIST安全软件开发框架基础上补充生成式AI与双用途基础模型的安全实践，覆盖模型、数据、依赖、发布和持续监控。

来源：National Institute of Standards and Technology (NIST)收录日期：2024-07-2630 页许可：NIST Technical Series public-domain / worldwide republication grant
模型与AI研究报告原始文档可阅读

ChatGLM系列完整报告：从GLM-130B到GLM-4工具能力

这份系列报告适合观察基础模型如何演进为具有工具使用能力的系统。不同代际的训练数据、对齐方法、上下文和工具接口并不等价，项目迁移时要分别验证聊天模板、角色消息、函数参数和中文任务。报告中的历史评测用于理解设计路线，不代表今天所有GLM版本的能力。

来源：原作者 · arXiv收录日期：2024-06-1819 页许可：CC BY 4.0
模型与AI研究报告原始文档可阅读

BGE-M3完整论文：多语言、多粒度与三种检索表示

M3同时支持稠密向量、词汇稀疏表示和多向量检索，不能把三者都称为同一种向量搜索。论文讨论不同语言、文档长度和检索任务如何协同训练。建设中文知识库时，可据此设计短查询长文档、跨语言查询、编号精确检索三套测试，再决定是否需要混合检索和重排。

来源：原作者 · arXiv收录日期：2024-02-0518 页许可：CC BY 4.0
标准、评测与AI安全原始文档可阅读

NIST对抗性机器学习攻击与缓解措施分类体系

系统定义逃逸、投毒、隐私和滥用等对抗性机器学习攻击，以及相应缓解方法和术语。

来源：National Institute of Standards and Technology (NIST)收录日期：2024-01-01107 页许可：NIST Technical Series public-domain / worldwide republication grant
模型与AI研究报告原始文档可阅读

BPipe：大模型训练的显存均衡流水线并行方法

研究流水线并行训练中的阶段显存不均衡，通过重新分配保存的激活提高可用批量和训练效率。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2023-07-2315 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
模型与AI研究报告原始文档可阅读

FlexGen：单张GPU实现大语言模型高吞吐推理的完整论文

论文系统解释如何通过GPU、CPU和磁盘三级内存协同，让超出单卡显存容量的大语言模型完成高吞吐批量推理，并分析权重、激活与KV Cache的放置和交换策略。

来源：Proceedings of Machine Learning Research (PMLR)收录日期：2023-07-2323 页许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
标准、评测与AI安全原始文档可阅读

NIST人工智能偏差识别与管理标准：从数据、模型到实际使用环境

系统解释人工智能偏差如何在数据、模型、人员、组织和具体使用环境中形成，并给出识别、描述和治理偏差的共同框架。

来源：National Institute of Standards and Technology (NIST)收录日期：2022-03-1586 页许可：NIST Technical Series public-domain / worldwide republication grant
SOURCE & ACCESS

资料出处清楚，阅读方式明确

每份资料注明发布机构、原文标题、更新时间和许可信息；允许本站保存的文件可直接在线阅读和下载，其他资料提供中文导读与官方来源。

查看来源与版权说明 →