Skip to main content

芯片算法-目标识别

5 min read

一、项目背景​

  • 客户：韩国世讯科技（Seyeon Tech / FlexWATCH），做了 25+ 年 IP 摄像机的厂商。
  • 硬件平台：Eyenix EN675 SoC（600MHz 四核 CPU + 1.2 TOPS NPU，INT8），属于"基础版"芯片。
  • 目标场景：边缘 IP 摄像头上的 AI 目标检测，本次目标对象是老鼠（啮齿动物，Rodent），韩国客户提出"识别韩国老鼠"。
  • 交付要求：
    • mAP ≥ 85%
    • 实时性 3–10 FPS
    • 输出 ONNX + .anchor + label.txt，需通过厂商在线编译器转换后打包 tar.gz 上传到摄像机
    • 数据集规模 5,000–10,000 张
    • 模型架构推荐 MobileNetV2 + SSDLite 或 YOLOv7-tiny / YOLOv5n
  • 商业模式：每年 2–4 个类似项目，长期合作伙伴。

二、找客户要的东西​

A. 技术资料（缺一不可）​

  1. 完整 Open AI SDK 文档（含开发指南、API 参考、示例工程），现在的 SDK 翻译片段不完整。
  2. EN675 NPU 算子白名单 / 不支持算子列表。
  3. 在线编译器的入口 URL + 专属账号密码。
  4. 官方推荐的 baseline 模型工程（厂商一般会提供一份能跑通全流程的 reference repo，例如他们调通过的 YOLOv5n 或 MobileNet-SSD 的训练→导出→编译→上板的完整脚本）。
  5. 目标输入分辨率（672×384 还是 512×288？还是别的？）和锚点（anchor）配置规范。
  6. 量化方式：PTQ 还是 QAT？校准集格式？
  7. mAP 验收脚本：客户用什么脚本算 mAP？IoU 阈值是 0.5 还是 0.5:0.95？以哪个数据集为准？
  8. 后处理是否需要客户自己写 .so（老鼠检测大概率不需要，确认一下）。

B. 数据资料​

  1. 客户已有的 5,000–10,000 张标注数据（先看一眼质量再签合同！强烈建议先要 100–500 张样本）。
  2. 真实部署场景的现场视频：白天/夜间、室内/室外、红外/彩色、安装高度、画面分辨率。
  3. 韩国客户对"韩国老鼠"的具体定义：是否有特定种类、特定姿态（爬行/静止/奔跑）、特定大小（最小目标多少像素）。
  4. 负样本 / 易混淆物体：猫、狗、塑料袋、阴影、抹布——这些是老鼠检测的典型 false positive 来源。
  5. 标注格式：YOLO txt？COCO json？Pascal VOC xml？
  6. 数据使用许可与 NDA 范围。

C. 验收与商务​

  1. 验收的具体测试集：是客户拿出一份 holdout 测试集，还是部署到真机测一周？
  2. mAP 85% 是量化前还是量化后？是 PC 端 ONNX 还是 NPU 上跑出来的？（这一条生死攸关，必须白纸黑字）
  3. 3–10 FPS 是单路还是多路？是否包含解码、前处理时间？
  4. 付款节点（建议：签约 30% / 数据交付通过验证 20% / 模型 PC 端达标 30% / 上板达标 20%）。
  5. 如果上板掉点过 85% 怎么办：能不能放宽到 80%？还是返工无限期？
  6. 代码与权重归属：训练脚本归你还是归客户？后续别的项目能不能复用 backbone？

D. 需要沟通的问题​

为了准确评估工期与方案，麻烦先提供以下资料：

  1. 完整的 Open AI SDK 文档与 EN675 算子支持列表；
  2. 在线编译器的访问账号；
  3. 一份你们之前调通过的参考工程（任意一个能跑全流程的示例）；
  4. 100–500 张样本数据 + 1–2 段真实场景视频，让我先评估数据分布；
  5. mAP 85% 的具体定义：是 PC 端 ONNX 还是上板 INT8？IoU 阈值多少？以哪个数据集为基准？ 收到这些之后，我会在 3 个工作日内给出报价与排期。

三、设备采购（4000 元以内，国内）​

核心原则​

  • 本机重点：能跑 ONNX/CPU 推理 + 跑量化校准 + 远程连训练机 + 能接摄像头测试。
  • 必须买：摄像头 + 网线 + 一些采集配件。

方案一：纯训练用云 + 本地极简（成本约 ¥1,200 – ¥2,000）​

项目说明预算
云 GPU（按小时租）AutoDL / 矩池云 / 揽睿，RTX 4090 单卡 ≈ 2 元/小时，跑通一次完整训练 50–100 元预留 ¥500 – ¥1000（按需）
千兆 PoE 交换机（如 TP-LINK TL-SG1005P，5口带 PoE）给摄像机供电+联网¥200 – ¥300
Cat6 网线 × 2连接摄像机与电脑¥30
USB 视频采集卡（如有 BNC/HDMI 输出）抓真机画面¥80 – ¥200
一个移动硬盘 / 大 U 盘 (1TB)存数据集¥300 – ¥500
小计¥1,200 – ¥2,000

这个方案下，摄像机本身不用买——需要客户会寄一台测试机给我（行业惯例，签 NDA 之后开口要）。如果客户不寄，再考虑下面的方案二。

方案二：客户不寄设备，自己买一台同款摄像机（成本约 ¥3,000 – ¥4,000）​

项目说明预算
一台 EN675 SoC 的开发板/IPC 模块直接问客户买/借（淘宝几乎搜不到 Eyenix 板子，必须找客户拿）¥1,500 – ¥2,500
PoE 交换机 + 网线同上¥250
USB 视频采集卡同上¥150
1TB 移动硬盘同上¥400
云 GPU 预算同上¥500 – ¥700
小计¥2,800 – ¥4,000

⚠️ Eyenix EN675 是相对小众的国内不易购买的 SoC，国内电商几乎找不到现货开发板。最好问客户要测试机。

我的最终推荐​

✅ 走方案一 + 客户寄一台测试摄像机：本地花 ¥1,500 左右买交换机/网线/采集卡/硬盘。Eyenix 的开发板国内根本不好买，没有比让客户寄机器更划算的方案了。

0%