30人律师事务所私有知识库：双L40S部署72B模型与RAG检索的模拟交付案例

案例说明

案例属性：模拟正式项目，用于展示方案设计、实施和验收方法；不是虚构客户宣传稿。文中的压测数据与故障过程为按该配置构造的模拟工程数据，真实采购前必须用目标硬件和业务请求重新测试。

一、项目场景与目标

• 单位：30人律师事务所，5个业务团队，日常同时在线8—12人
• 资料：约12万页PDF和Office文档，包含扫描合同、法规、判例与内部模板
• 目标：普通问题5秒内开始回答；回答必须引用文件名和页码；全部数据留在内网
• 限制：硬件预算上限35万元；机房只有一条16A 220V回路；不得把客户资料发送到外部API

二、最终硬件与软件清单

• GPU：2×NVIDIA L40S 48GB，张量并行运行72B INT4生成模型
• CPU：双路服务器CPU，共64个以上物理核心
• 内存：512GB ECC RDIMM，承担文档解析、向量索引和模型卸载缓冲
• 存储：2×1.92TB系统盘RAID1；4×3.84TB NVMe用于原文、索引和模型；独立备份存储
• 网络：双口25GbE，业务网与备份网分离；电源：2×2000W冗余电源
• 软件：Ubuntu 22.04、Docker、vLLM、Milvus、BGE-M3嵌入、重排模型与文档解析服务

三、部署架构

• 用户通过统一身份认证进入Web端，权限服务先返回允许访问的项目与文件范围
• 文档解析保留标题层级、页码和原文件ID；切片后写入向量库与关键词索引
• 查询同时执行向量与关键词召回，合并后重排；前8个片段交给生成模型
• 生成答案必须输出引用；引用点击后在内网文档预览器定位到原页
• 查询、检索结果、模型答案和用户反馈进入审计日志，但不记录明文密码与敏感令牌

四、模拟实测数据

测试说明：以下结果只在本案例给定的模型、输入输出长度、并发、环境与版本下成立，不能脱离条件比较。

• 单用户、输入约800 tokens、输出约500 tokens：首字延迟1.4秒，生成速度约26 tokens/s
• 8并发混合问题：P50首字1.9秒，P95首字4.6秒，聚合输出约92 tokens/s，请求成功率100%
• 16并发压力测试：P95首字9.8秒，出现明显排队但无OOM；不满足交互目标
• 200道人工标注问题：检索Top-8命中率由初版78.5%提升到91.0%
• 答案引用正确率94.5%；无答案问题正确拒答率从61%提升到88%
• 持续2小时8并发：单卡峰值显存45.2GB，服务器墙上功率约1.35kW，无进程重启

五、首次测试发现的问题

• 初版按固定800字切片，合同附件与正文分离，导致引用页码正确但语义不完整
• 扫描PDF中有9.6%页面OCR置信度较低，金额与日期容易识别错误
• 长问题占满KV Cache后短问题排队，单队列导致普通查询体验波动
• 权限只在前端隐藏文件，直接调用检索API仍可能命中无权文档

六、整改措施与变化

• 改为按标题与条款结构切片，并保留前后片段关系；Top-8命中率提高12.5个百分点
• OCR低置信度页面进入人工复核队列，金额、日期和主体名称增加规则校验
• 将8K以内普通查询与长文分析拆成两条队列，普通问题P95首字稳定在5秒以内
• 权限过滤下沉到检索层，并用跨团队测试账号执行越权测试，未再返回受限片段

七、最终结论

该配置可以支撑约10名活跃用户的日常知识问答，不适合16人同时执行长文分析。最终建议把普通问答限制在8K上下文，将合同整篇分析作为异步任务。本文数据是按上述条件设计的模拟压测结果，用来展示交付口径，不代表任何真实律师事务所或厂商保证。

八、真实项目复现时必须补充的证据

• 服务器型号、主板、CPU、GPU、内存、磁盘、网卡、电源与固件清单
• 操作系统、内核、驱动、CUDA或ROCm、框架、容器摘要与模型文件校验
• 完整启动参数、测试请求集、输入输出token分布、并发和测试持续时间
• 压测原始CSV或JSON、监控导出、错误日志、功耗与温度时间线
• 整改前后使用同一口径重复测试的结果，以及仍未解决的问题

相关主题

企业知识库、L40S、RAG、72B模型