ESP32-S3是乐鑫公司推出的首个带有 AI 指令的无线处理器。而ESP-IDF 的 ESP-DL 库则帮助用户使用 ESP32-S3-DevKitC-1 等板来轻松地利用这些 AI 指令。
在此,我简单的介绍一些ESP-DL 库。ESP-DL 库主要是给神经网络(NN)推理、图像处理、数学操作和深度学习等模型提供 API的,通过ESP-DL 库这些模型就可以充分利用 ESP32-S3 的 AI 指令。利用该AI指令后,16 位人脸识别模型的运行速度就会是未加速模型的6.25倍,而 8 位模型的速度则会比没有加速度的模型快 2.5 倍。
另外,ESP-DL 库可用作项目组件。例如,它可用作ESP世卫组织计算机视觉框架的子模块,而且操作也很简单。只需要将其复制到esp-who/组件/目录下就可以了。
ESP-DL库的Model Zoo中有一些预先训练的模型,不过暂时主要是用于人脸检测识别和猫脸检测的。其他更多的模型现还在开发中,像颜色检测和手姿势检测等。
对了,乐鑫方面还提供使用自定义模型的开发工具,以及一个可以允许用户使用TensorFlow、PyTorch、MXNetm 等开发模型的开发工具。
我猜测这个无线处理器将来可能还会有更高的性能。因为除了使用 SIMD 指令进行加速外,ESP-DL 还可以通过自动加载、预加载,以及 DMA 引擎等来支持进一步的开发。然后,以更快地方式处理数据。
你们可以在Github上找到代码、示例和文档。不过比较棘手的一点是获得ESP32-S3还是挺困难的。因为现在只能要直接从乐鑫获得样品。ESP32-S3 模块和开发板估计要在今年年底之前才会正式推出。
文章翻译者:Nicholas,技术支持工程师、瑞科慧联(RAK)高级工程师,深耕嵌入式开发技术、物联网行业多年,拥有丰富的行业经验和新颖独到的眼光!