跳到主要内容

1 篇博文 含有标签「芯片算法-目标识别」

查看所有标签

一、项目背景

  • 客户:韩国世讯科技(Seyeon Tech / FlexWATCH),做了 25+ 年 IP 摄像机的厂商。
  • 硬件平台:Eyenix EN675 SoC(600MHz 四核 CPU + 1.2 TOPS NPU,INT8),属于"基础版"芯片。
  • 目标场景:边缘 IP 摄像头上的 AI 目标检测,本次目标对象是老鼠(啮齿动物,Rodent),韩国客户提出"识别韩国老鼠"。
  • 交付要求
    • mAP ≥ 85%
    • 实时性 3–10 FPS
    • 输出 ONNX + .anchor + label.txt,需通过厂商在线编译器转换后打包 tar.gz 上传到摄像机
    • 数据集规模 5,000–10,000 张
    • 模型架构推荐 MobileNetV2 + SSDLiteYOLOv7-tiny / YOLOv5n
  • 商业模式:每年 2–4 个类似项目,长期合作伙伴。

二、找客户要的东西

A. 技术资料(缺一不可)

  1. 完整 Open AI SDK 文档(含开发指南、API 参考、示例工程),现在的 SDK 翻译片段不完整。
  2. EN675 NPU 算子白名单 / 不支持算子列表
  3. 在线编译器的入口 URL + 专属账号密码
  4. 官方推荐的 baseline 模型工程(厂商一般会提供一份能跑通全流程的 reference repo,例如他们调通过的 YOLOv5n 或 MobileNet-SSD 的训练→导出→编译→上板的完整脚本)。
  5. 目标输入分辨率(672×384 还是 512×288?还是别的?)和锚点(anchor)配置规范
  6. 量化方式:PTQ 还是 QAT?校准集格式?
  7. mAP 验收脚本:客户用什么脚本算 mAP?IoU 阈值是 0.5 还是 0.5:0.95?以哪个数据集为准?
  8. 后处理是否需要客户自己写 .so(老鼠检测大概率不需要,确认一下)。

B. 数据资料

  1. 客户已有的 5,000–10,000 张标注数据(先看一眼质量再签合同!强烈建议先要 100–500 张样本)。
  2. 真实部署场景的现场视频:白天/夜间、室内/室外、红外/彩色、安装高度、画面分辨率。
  3. 韩国客户对"韩国老鼠"的具体定义:是否有特定种类、特定姿态(爬行/静止/奔跑)、特定大小(最小目标多少像素)。
  4. 负样本 / 易混淆物体:猫、狗、塑料袋、阴影、抹布——这些是老鼠检测的典型 false positive 来源。
  5. 标注格式:YOLO txt?COCO json?Pascal VOC xml?
  6. 数据使用许可与 NDA 范围

C. 验收与商务

  1. 验收的具体测试集:是客户拿出一份 holdout 测试集,还是部署到真机测一周?
  2. mAP 85% 是量化前还是量化后?是 PC 端 ONNX 还是 NPU 上跑出来的?(这一条生死攸关,必须白纸黑字)
  3. 3–10 FPS 是单路还是多路?是否包含解码、前处理时间?
  4. 付款节点(建议:签约 30% / 数据交付通过验证 20% / 模型 PC 端达标 30% / 上板达标 20%)。
  5. 如果上板掉点过 85% 怎么办:能不能放宽到 80%?还是返工无限期?
  6. 代码与权重归属:训练脚本归你还是归客户?后续别的项目能不能复用 backbone?

D. 需要沟通的问题

为了准确评估工期与方案,麻烦先提供以下资料:

  1. 完整的 Open AI SDK 文档与 EN675 算子支持列表;
  2. 在线编译器的访问账号;
  3. 一份你们之前调通过的参考工程(任意一个能跑全流程的示例);
  4. 100–500 张样本数据 + 1–2 段真实场景视频,让我先评估数据分布;
  5. mAP 85% 的具体定义:是 PC 端 ONNX 还是上板 INT8?IoU 阈值多少?以哪个数据集为基准? 收到这些之后,我会在 3 个工作日内给出报价与排期。

三、设备采购(4000 元以内,国内)

核心原则

  • 本机重点:能跑 ONNX/CPU 推理 + 跑量化校准 + 远程连训练机 + 能接摄像头测试
  • 必须买:摄像头 + 网线 + 一些采集配件

方案一:纯训练用云 + 本地极简(成本约 ¥1,200 – ¥2,000)

项目说明预算
云 GPU(按小时租)AutoDL / 矩池云 / 揽睿,RTX 4090 单卡 ≈ 2 元/小时,跑通一次完整训练 50–100 元预留 ¥500 – ¥1000(按需)
千兆 PoE 交换机(如 TP-LINK TL-SG1005P,5口带 PoE)给摄像机供电+联网¥200 – ¥300
Cat6 网线 × 2连接摄像机与电脑¥30
USB 视频采集卡(如有 BNC/HDMI 输出)抓真机画面¥80 – ¥200
一个移动硬盘 / 大 U 盘 (1TB)存数据集¥300 – ¥500
小计¥1,200 – ¥2,000

这个方案下,摄像机本身不用买——需要客户会寄一台测试机给我(行业惯例,签 NDA 之后开口要)。如果客户不寄,再考虑下面的方案二。

方案二:客户不寄设备,自己买一台同款摄像机(成本约 ¥3,000 – ¥4,000)

项目说明预算
一台 EN675 SoC 的开发板/IPC 模块直接问客户买/借(淘宝几乎搜不到 Eyenix 板子,必须找客户拿)¥1,500 – ¥2,500
PoE 交换机 + 网线同上¥250
USB 视频采集卡同上¥150
1TB 移动硬盘同上¥400
云 GPU 预算同上¥500 – ¥700
小计¥2,800 – ¥4,000

⚠️ Eyenix EN675 是相对小众的国内不易购买的 SoC,国内电商几乎找不到现货开发板。最好问客户要测试机

我的最终推荐

走方案一 + 客户寄一台测试摄像机:本地花 ¥1,500 左右买交换机/网线/采集卡/硬盘。Eyenix 的开发板国内根本不好买,没有比让客户寄机器更划算的方案了


芯片算法-目标识别阅读需 5 分钟