使用ESP-DL库在ESP32-S3上进行手势识别

原文链接:Hand Gesture Recognition on ESP32-S3 with the ESP-DL library 由Jean-Luc Aufranc撰写。
本文共计 535 字,预计阅读 1 分钟

Ali Hassan Shah 使用 ESP-DL 库在 ESP32-S3-EYE 板上部署了可用于手势识别的深度学习模型,并在 ESP32-S3 摄像头板上做到了只有 0.7 秒延迟的 AI 手部识别。

去年,乐鑫发布了在 ESP32-S3 微控制器上部署的 ESP-DL 库,该库带有 AI 矢量扩展,可以在 ESP32、ESP32-S2,以及 ESP32-S3 上运行速度更快的人脸检测演示。随后 Hassan Shah 还推出自己的 AI 手势识别解决方案,并提供了一系列教程

ESP32-S3 AI 手势识别

使用 ESP-DL 库部署自定义模型的主要步骤包括:

  • 涉及的模型开发
    • 获取或创建数据集。在这种情况下,从Kaggle 下载 6 个手势,即 Palm、I、Thumb、Index、Ok 和 C
    • 测试、验证和校准数据集
    • 构建(CNN)模型
    • 验证模型
    • 将模型保存为分层数据格式(.h5)
    • 为了与 ESP-DL 库兼容,将 H.5 模型转换为 ONNX 格式
  • ESP-DL 格式使用 PyCharm IDE 运行 ESP-DL 库时候提供的 Python 优化器,从 ONNX 到 ESP-DL 格式的又一次转换
  • 模型部署步骤
    • 基于ESP-IDF 框架在 VS-Code 中新建项目
    • 模型定义– 从模型、声明、初始化、构建和调用层导入库
  • 模型运行步骤
    • 导入所需的库
    • 声明输入
    • 设置输入形状
    • 调用模型
    • 监听输入

虽然能够在 ESP32-S3 MCU 等相对低端的硬件上运行 AI 工作负载很不错,但这真的不容易,需要做一些准备工作。我想这就是 Edge Impulse 这类解决方案被创造出来的原因,虽然我在 Xiao BLE Sense 板上尝试 Edge Impulse 时发现它还是挺复杂的。但对比起来看,还是要比使用 ESP-DL 库部署自定义模型容易得多。如果大家只是想在 ESP32-S3-EYE 板上试用Ali 手势识别演示,那就容易多了。其相关的资源和操作手册可以直接在 GitHub 上找到

分享这篇文章
订阅评论
提醒
0 评论
内联反馈
查看所有评论