晶晨A311D SoC的Jevois Pro小型AI相机，搭载算力最高可达13TOPS（众筹中）

2016年，Jevois-A33智能相机面世，它专为计算机视觉应用而设计，并带有全志A33 处理器的小型 Linux 相机。

2017年，我对计算机视觉相机进行了测评，其中Jevois-A33智能相机让我了解到了很多关于计算机视觉的例子：虽然它依赖 CPU 的算力，但是却因运算结果滞后，使其并不适合所有项目，例如，对象检测需要 500 毫秒，而 Yolo V3 在该款相机上的每次推理却大约需要 3 秒，因而无法满足实际需求。

随着时间的流逝，计算机视觉和人工智能领域取得了巨大进步，现在通常由内置 NPU 或 AI 加速卡来处理任务。最近，JeVois Pro推出了深度学习相机。它配备晶晨A311D处理器，具有5 TOPS NPU。如果通过 Myriad X 或 Google Edge TPU M.2 卡支持，其算力最高可以达到 13 TOPS。

JeVois Pro 规格：

• SoC – 晶晨A311D 六核处理器，具有 4 个 Cortex-A73 内核 @ 2.2 GHz、2 个 Cortex-A53 内核 @ 1.8 GHz、1个四核 Mali G52 MP4 GPU @ 800 MHz 和1个5 TOPS 神经处理单元 (NPU)
• 系统内存 – 4 GB LPDDR4-3200
• 存储 – 用于操作系统、软件和数据的 MicroSD 卡的插槽
• 摄像头
  • 内置 2MP Sony IMX290 背照式 Starvis 传感器，1/2.8”，12mm 镜头，1920×1080，最高 120fps，卷帘快门，支持宽动态范围
  • 自定义相机传感器连接器，支持 1 或 2 个传感器，4x MIPI-CSI + IMU
• 视频和音频输出 – HDMI 2.1 高达 4k @ 60 Hz
• USB – 2个 USB 2.0 端口，1 个 mini USB OTG 端口
• 传感器 – TDK InvenSense ICM-20948 带有 3 轴加速度计、3 轴陀螺仪、3 轴罗盘，通过 SPI 总线 @ 7 MHz 连接，可以与相机传感器同步
• 扩展
  • M.2 E-Key 插槽，用于扩展2230 PCIe x1/USB/SDIO/PCM/UART 附加卡（Coral TPU、WiFi 等），支持 eMMC 闪存的自定义 JeVois 扩展。（注意：不支持 PCIe x2）
  • 8 针 GPIO 端口（I2C + SPI，或 6x GPIO + GND + I/O 电压选择）
• 调试 – 4 针 UART（串行控制台）端口
• 电源
  • 输入 – 单个 6-24 直流供电插孔，输入功率最高为 30 瓦
  • 用于 5V、3.3V 和 1.8V 外围设备的 6 针辅助电源输出
  • 功耗
    • 空闲：3W
    • NPU 上的 YOLOv2：5.3 W
    • 运行 CPU+NPU+TPU+VPU quad YOLO/SSD 演示，如下面的视频所示：12 W
  • 尺寸 – 50 x 50 x 45mm，不含镜头
  • 重量 – 80 g，包括机箱、风扇、散热器。仅电子产品：40 g

AI 相机运行 Ubuntu 20.04 LTS aarch64，并含有以下软件包：

• OpenCV（最新）+ OpenVino + 预装的所有贡献和 Python 绑定
• JeVois 核心库，预装了 30 多个包含机器视觉模块（OpenCV 演示、二维码识别、对象检测、人脸检测、对象跟踪、骰子计数等）
• OpenGL ES 3.2、Vulkan 1.0、OpenCL 2.0、Coral Edge-TPU 库
• 预装 Python 3.8 + numpy + scipy
• 预装了 Boost、Eigen、ImGui、glm 和许多其他 C++ 库

晶晨A311D 相机兼容 TensorFlow-Lite 2.5、Caffe、ONNX、MxNet 和 Darknet 深度学习框架。除了预装的机器视觉模块外，还可以使用 C++ 或 Python 中的机器视觉管道导入/设计你自己的自定义深度学习模型在 JeVois-Pro 中运行。软件开发和测试可以首先在 Linux 计算机上进行，然后交叉编译 JeVois Pro 相机的程序。

代码已通过 DMABUF 优化图像零拷贝的性能以及 OpenGL 绘制叠加层和 GUI。观看以下视频是了解相机功能的最佳方法。

https://youtu.be/aJp-mIBytno

请注意，所有内容都在相机上有所呈现，即使是四视图示例也是这样。内置的 5 TOPS NPU 运行良好，性能比仅在某些演示中使用 CPU 高 30 倍。

JeVois Pro 是一个开源项目，众筹活动结束后，包括软件和硬件原理图在内的所有资源都将发布。你可以登陆 JeVois 文档网站了解开发进度，也可以在访问网站早期的 JeVois-A33 相机文档。

JeVois在 Kickstarter 上推出了新的 Pro 相机，其融资目标为 60,000 美元。相机的入门套件的起价为379美元，它包含64GB MicroSD 卡、micro HDMI 转HDMI 线、GPIO 电缆和 Coral Edge TPU 卡。整个组合的 AI 处理能力高达 9 TOPS。另外一个套装是一包三个 JeVois Pro 入门套件，售价 999 美元。运送到美国是免费的，但到其他地方需要增加 39 美元。如果不出现任何延误的话，产品预计将在 2021 年 9 月发货。需要注意的是，只有使用 Kickstarter 活动中未提供的双 Google Edge TPU M.2 模块才能实现 13 TOPS的运算能力。

Taylor Lee 李远朝

文章翻译者：Taylor Lee，瑞科慧联（RAK）高级嵌入式开发工程师，有丰富的物联网和开源软硬件经验，熟悉行业主流软硬件框架，对行业发展动向有着敏锐的感知力和捕捉能力。