在ESP-DL库中充分利用ESP32-S3的AI功能

原文链接:Leverage ESP32-S3 AI capabilities with the ESP-DL library 由Jean-Luc Aufranc撰写。

ESP32-S3是乐鑫公司推出的首个带有 AI 指令的无线处理器。而ESP-IDF 的 ESP-DL 库则帮助用户使用 ESP32-S3-DevKitC-1 等板来轻松地利用这些 AI 指令。

在此,我简单的介绍一些ESP-DL 库。ESP-DL 库主要是给神经网络(NN)推理、图像处理、数学操作和深度学习等模型提供 API的,通过ESP-DL 库这些模型就可以充分利用 ESP32-S3 的 AI 指令。利用该AI指令后,16 位人脸识别模型的运行速度就会是未加速模型的6.25倍,而 8 位模型的速度则会比没有加速度的模型快 2.5 倍。

ESP32-S3 AI的ESP-DL库
ESP32-S3 AI的ESP-DL库

另外,ESP-DL 库可用作项目组件。例如,它可用作ESP世卫组织计算机视觉框架的子模块,而且操作也很简单。只需要将其复制到esp-who/组件/目录下就可以了。

ESP-DL库的Model Zoo中有一些预先训练的模型,不过暂时主要是用于人脸检测识别和猫脸检测的。其他更多的模型现还在开发中,像颜色检测和手姿势检测等。

ESP-DL在ESP32、ESP32-S3和ESP32-S3上进行人脸检测的演示
ESP-DL在ESP32、ESP32-S3和ESP32-S3上进行人脸检测的演示

对了,乐鑫方面还提供使用自定义模型的开发工具,以及一个可以允许用户使用TensorFlow、PyTorch、MXNetm 等开发模型的开发工具。

我猜测这个无线处理器将来可能还会有更高的性能。因为除了使用 SIMD 指令进行加速外,ESP-DL 还可以通过自动加载、预加载,以及 DMA 引擎等来支持进一步的开发。然后,以更快地方式处理数据。

你们可以在Github上找到代码、示例和文档。不过比较棘手的一点是获得ESP32-S3还是挺困难的。因为现在只能要直接从乐鑫获得样品。ESP32-S3 模块和开发板估计要在今年年底之前才会正式推出。

分享这篇文章
订阅评论
提醒
0 评论
内联反馈
查看所有评论