本文共计 535 字,预计阅读 1 分钟
Ali Hassan Shah 使用 ESP-DL 库在 ESP32-S3-EYE 板上部署了可用于手势识别的深度学习模型,并在 ESP32-S3 摄像头板上做到了只有 0.7 秒延迟的 AI 手部识别。
去年,乐鑫发布了在 ESP32-S3 微控制器上部署的 ESP-DL 库,该库带有 AI 矢量扩展,可以在 ESP32、ESP32-S2,以及 ESP32-S3 上运行速度更快的人脸检测演示。随后 Hassan Shah 还推出自己的 AI 手势识别解决方案,并提供了一系列教程。
使用 ESP-DL 库部署自定义模型的主要步骤包括:
- 涉及的模型开发
- 获取或创建数据集。在这种情况下,从Kaggle 下载 6 个手势,即 Palm、I、Thumb、Index、Ok 和 C
- 测试、验证和校准数据集
- 构建(CNN)模型
- 验证模型
- 将模型保存为分层数据格式(.h5)
- 为了与 ESP-DL 库兼容,将 H.5 模型转换为 ONNX 格式
- ESP-DL 格式– 使用 PyCharm IDE 运行 ESP-DL 库时候提供的 Python 优化器,从 ONNX 到 ESP-DL 格式的又一次转换
- 模型部署步骤
- 基于ESP-IDF 框架在 VS-Code 中新建项目
- 模型定义– 从模型、声明、初始化、构建和调用层导入库
- 模型运行步骤
- 导入所需的库
- 声明输入
- 设置输入形状
- 调用模型
- 监听输入
虽然能够在 ESP32-S3 MCU 等相对低端的硬件上运行 AI 工作负载很不错,但这真的不容易,需要做一些准备工作。我想这就是 Edge Impulse 这类解决方案被创造出来的原因,虽然我在 Xiao BLE Sense 板上尝试 Edge Impulse 时发现它还是挺复杂的。但对比起来看,还是要比使用 ESP-DL 库部署自定义模型容易得多。如果大家只是想在 ESP32-S3-EYE 板上试用Ali 手势识别演示,那就容易多了。其相关的资源和操作手册可以直接在 GitHub 上找到。
文章翻译者:Nicholas,技术支持工程师、瑞科慧联(RAK)高级工程师,深耕嵌入式开发技术、物联网行业多年,拥有丰富的行业经验和新颖独到的眼光!