使用MLPerf Tiny Inference Benchmark对TinyML进行基准测试

Taylor Lee 李远朝

3年前

随着基于微控制器的机器学习（如TinyML）的兴起，我们需要新的工具来比较不同的解决方案。我之前已经发布了一些用于微控制器基准测试（用于单板计算机）的Tensorflow Lite，但是如果有一款专门为资源受限嵌入式系统上的 AI 推理而设计的基准测试工具的话，则对涵盖更广泛用例的一致性测试非常有用。

这正是开放工程联盟MLCommons使用MLPerf Tiny Inference benchmarks 所做的工作，该工具旨在测量经过训练的神经网络处理微型低功耗设备新数据的速度，并且它还包括一个可选的功率测量选项。

MLPerf Tiny v0.5 是该组织为嵌入式系统设计的第一个推理基准测试套件，包含四个基准测试：

Keyword Spotting– 使用 DS-CNN 模型的小词汇量关键字挖掘。通常用于智能耳塞和虚拟助手。
Visual Wake Words– 使用 MobileNet 的二进制图像分类。家庭安全监控是此类 AI 工作负载的一种应用。
图像分类– 使用 Cifar10 数据集、Resnet 模型的小图像分类。应用于智能视频识别应用程序中的许多场景。
异常检测– 使用 ToyADMOS 数据集、Deep AutoEncoder 模型检测机器操作中的异常。一种使用场景是预防性维护。

MLPerf Tiny 通常以小于 100 kB 的神经网络为目标，将依赖 EEMBC 的 EnergyRunner 基准测试框架连接到被测系统，并在基准测试运行时测量功耗。

你可以在白皮书中找到有关 MLPerf Tiny 基准测试的更多详细信息，在 Github上找到开源参考实现，还能在Google Docs中找到新发布和更新的一些结果。

MLPerf Tiny 是否真的成为一个行业标准，我们将拭目以待。因为包括哈佛大学、EEMBC、欧洲核子研究中心、谷歌、英飞凌、Latent AI、安森美半导体、鹏程实验室、高通、瑞萨、Silicon Labs、意法半导体、Synopsys、Syntiant、UCSD 等在内的各种组织和公司已经参与到该项目了。

消息来自Hackster.io和MLCommons网站。