汽车零部件工厂16路视觉质检：双L4边缘推理服务器的模拟实测与容错方案

案例说明

案例属性：模拟正式项目，用于展示方案设计、实施和验收方法；不是虚构客户宣传稿。文中的压测数据与故障过程为按该配置构造的模拟工程数据，真实采购前必须用目标硬件和业务请求重新测试。

一、项目场景与目标

• 单位：汽车零部件工厂，两条产线共16台500万像素工业相机
• 任务：每个零件采集4张图片，完成划痕、缺角和装配遗漏检测
• 目标：单张图端到端P95低于120ms；持续处理每秒80张图；任一GPU故障时不停线
• 限制：部署在产线机柜，环境温度最高35℃；网络不能访问互联网；功耗与噪声受限

二、最终硬件与软件清单

• GPU：2×NVIDIA L4 24GB，低功耗被动散热，必须使用认证服务器风道
• CPU：单路32核服务器CPU；内存128GB ECC
• 存储：系统盘RAID1；3.84TB NVMe保留7天异常图；结果同步到厂内对象存储
• 网络：相机采集双口10GbE，管理与结果上传独立1GbE
• 软件：Ubuntu、TensorRT、Triton Inference Server、消息队列、Prometheus与本地模型仓库

三、部署架构

• 16路相机分成两个采集组，正常情况下每张GPU处理8路
• 图像预处理使用固定尺寸与颜色校正，批量动态范围1—8
• 推理结果进入规则引擎，低置信度图片保存并进入人工复核
• 健康检查发现GPU或推理实例异常时，流量切换到另一张卡并降低非关键图片保存
• 模型、阈值和相机标定参数按产线版本管理，可一键回退

四、模拟实测数据

测试说明：以下结果只在本案例给定的模型、输入输出长度、并发、环境与版本下成立，不能脱离条件比较。

• 单GPU、batch 1：模型推理P50 13ms、P95 18ms；含采集与预处理端到端P95 73ms
• 双GPU正常负载80图/秒：端到端P95 82ms，GPU利用率约54%和57%
• 峰值120图/秒：端到端P95 116ms，无丢图；继续提高后队列开始增长
• 模拟一张GPU进程退出：3.2秒内完成切换，切换期间缓存247张图，无图像丢失
• 单GPU承接全部80图/秒：端到端P95升至108ms，仍满足120ms目标
• 35℃进风连续8小时：GPU最高72℃，整机平均输入功率约430W

五、首次测试发现的问题

• 初版按相机逐路建立推理实例，GPU上下文过多，吞吐反而低于共享实例
• 网络抖动时相机时间戳乱序，错误地把不同零件图片组合在一起
• 只保存缺陷图导致无法回溯误检样本，质量团队无法比较模型版本
• 被动散热L4安装在普通短机箱中时温度快速上升

六、整改措施与变化

• 改为每张GPU一个Triton模型实例和共享动态批处理，80图/秒下P95下降19ms
• 按触发ID与时间窗双重组图，乱序图片进入异常队列
• 按0.5%比例抽样保存正常图，并保留每个模型版本的固定回归集
• 改用具备前后直通风道的2U服务器并封闭空槽，完成35℃环境持续测试

七、最终结论

双L4方案满足16路相机当前负载，并能在单卡故障时以较高负载继续生产。它不适用于相机数量翻倍后的直接扩容，新增产线应独立节点或重新验证队列与网络。数据为模拟工厂场景的工程测试结果。

八、真实项目复现时必须补充的证据

• 服务器型号、主板、CPU、GPU、内存、磁盘、网卡、电源与固件清单
• 操作系统、内核、驱动、CUDA或ROCm、框架、容器摘要与模型文件校验
• 完整启动参数、测试请求集、输入输出token分布、并发和测试持续时间
• 压测原始CSV或JSON、监控导出、错误日志、功耗与温度时间线
• 整改前后使用同一口径重复测试的结果，以及仍未解决的问题

相关主题

视觉质检、NVIDIA L4、边缘推理、制造业AI