晶晨A311D SoC的Jevois Pro小型AI相机,搭载算力最高可达13TOPS(众筹中)

原文链接:Jevois Pro small AI camera with Amlogic A311D SoC offers up to 13 TOPS (Crowdfunding) 由Jean-Luc Aufranc撰写。

2016年,Jevois-A33智能相机面世,它专为计算机视觉应用而设计,并带有全志A33 处理器的小型 Linux 相机。

2017年,我对计算机视觉相机进行了测评,其中Jevois-A33智能相机让我了解到了很多关于计算机视觉的例子:虽然它依赖 CPU 的算力,但是却因运算结果滞后,使其并不适合所有项目,例如,对象检测需要 500 毫秒,而 Yolo V3 在该款相机上的每次推理却大约需要 3 秒,因而无法满足实际需求。

随着时间的流逝,计算机视觉和人工智能领域取得了巨大进步,现在通常由内置 NPU 或 AI 加速卡来处理任务。最近,JeVois Pro推出了深度学习相机。它配备晶晨A311D处理器,具有5 TOPS NPU。如果通过 Myriad X 或 Google Edge TPU M.2 卡支持,其算力最高可以达到 13 TOPS。

JeVois Pro 晶晨A311D 相机
JeVois Pro 晶晨A311D 相机

JeVois Pro 规格:

  • SoC – 晶晨A311D 六核处理器,具有 4 个 Cortex-A73 内核 @ 2.2 GHz、2 个 Cortex-A53 内核 @ 1.8 GHz、1个四核 Mali G52 MP4 GPU @ 800 MHz 和1个5 TOPS 神经处理单元 (NPU)
  • 系统内存 – 4 GB LPDDR4-3200
  • 存储 – 用于操作系统、软件和数据的 MicroSD 卡的插槽
  • 摄像头
    • 内置 2MP Sony IMX290 背照式 Starvis 传感器,1/2.8”,12mm 镜头,1920×1080,最高 120fps,卷帘快门,支持宽动态范围
    • 自定义相机传感器连接器,支持 1 或 2 个传感器,4x MIPI-CSI + IMU
  • 视频和音频输出 – HDMI 2.1 高达 4k @ 60 Hz
  • USB – 2个 USB 2.0 端口,1 个 mini USB OTG 端口
  • 传感器 – TDK InvenSense ICM-20948 带有 3 轴加速度计、3 轴陀螺仪、3 轴罗盘,通过 SPI 总线 @ 7 MHz 连接,可以与相机传感器同步
  • 扩展
    • M.2 E-Key 插槽,用于扩展2230 PCIe x1/USB/SDIO/PCM/UART 附加卡(Coral TPU、WiFi 等),支持 eMMC 闪存的自定义 JeVois 扩展。(注意:不支持 PCIe x2)
    • 8 针 GPIO 端口(I2C + SPI,或 6x GPIO + GND + I/O 电压选择)
  • 调试 – 4 针 UART(串行控制台)端口
  • 电源
    • 输入 – 单个 6-24 直流供电插孔,输入功率最高为 30 瓦
    • 用于 5V、3.3V 和 1.8V 外围设备的 6 针辅助电源输出
    • 功耗
      • 空闲:3W
      • NPU 上的 YOLOv2:5.3 W
      • 运行 CPU+NPU+TPU+VPU quad YOLO/SSD 演示,如下面的视频所示:12 W
    • 尺寸 – 50 x 50 x 45mm,不含镜头
    • 重量 – 80 g,包括机箱、风扇、散热器。仅电子产品:40 g
JeVois Pro 规格
JeVois Pro 规格

AI 相机运行 Ubuntu 20.04 LTS aarch64,并含有以下软件包:

  • OpenCV(最新)+ OpenVino + 预装的所有贡献和 Python 绑定
  • JeVois 核心库,预装了 30 多个包含机器视觉模块(OpenCV 演示、二维码识别、对象检测、人脸检测、对象跟踪、骰子计数等)
  • OpenGL ES 3.2、Vulkan 1.0、OpenCL 2.0、Coral Edge-TPU 库
  • 预装 Python 3.8 + numpy + scipy
  • 预装了 Boost、Eigen、ImGui、glm 和许多其他 C++ 库

晶晨A311D 相机兼容 TensorFlow-Lite 2.5、Caffe、ONNX、MxNet 和 Darknet 深度学习框架。除了预装的机器视觉模块外,还可以使用 C++ 或 Python 中的机器视觉管道导入/设计你自己的自定义深度学习模型在 JeVois-Pro 中运行。软件开发和测试可以首先在 Linux 计算机上进行,然后交叉编译 JeVois Pro 相机的程序。

零拷贝openGL图层
零拷贝openGL图层

代码已通过 DMABUF 优化图像零拷贝的性能以及 OpenGL 绘制叠加层和 GUI。观看以下视频是了解相机功能的最佳方法。

https://youtu.be/aJp-mIBytno

请注意,所有内容都在相机上有所呈现,即使是四视图示例也是这样。内置的 5 TOPS NPU 运行良好,性能比仅在某些演示中使用 CPU 高 30 倍。

JeVois Pro 是一个开源项目,众筹活动结束后,包括软件和硬件原理图在内的所有资源都将发布。你可以登陆 JeVois 文档网站了解开发进度,也可以在访问网站早期的 JeVois-A33 相机文档。

JeVois在 Kickstarter 上推出了新的 Pro 相机其融资目标为 60,000 美元。相机的入门套件的起价为379美元,它包含64GB MicroSD 卡、micro HDMI 转HDMI 线、GPIO 电缆和 Coral Edge TPU 卡。整个组合的 AI 处理能力高达 9 TOPS。另外一个套装是一包三个 JeVois Pro 入门套件,售价 999 美元。运送到美国是免费的,但到其他地方需要增加 39 美元。如果不出现任何延误的话,产品预计将在 2021 年 9 月发货。需要注意的是,只有使用 Kickstarter 活动中未提供的双 Google Edge TPU M.2 模块才能实现 13 TOPS的运算能力。

分享这篇文章
订阅评论
提醒
0 评论
内联反馈
查看所有评论