Knowles即美国楼氏电子,是一家以生产助听器中的微型麦克风和扬声器而闻名的全球性制造商。他们的AISonic IA8201树莓派开发套件就是旨在为各种系统带来语音、音频边缘处理和机器学习 (ML) 聆听等功能的。而且,它该套件还可以用于评估该公司大约两年前推出的 AISonic IA8201 DSP。
该套件由三块开发板、一个有三个按钮且连接到树莓派的适配器板,以及 AISonic IA8210 DSP 板本身通过扁平电缆连接到麦克风的阵列而组成的。
楼氏电子AISonic树莓派开发套件
其实,楼氏电子并没有对外提供开发的全部细节,但他们表示,该套件可以实现低延迟语音 UI 的语音唤醒处理、降噪、上下文感知以及用于传感器输入边缘处理的加速机器学习推理。
而且也有一些用例,包括基于低功耗语音唤醒侦听特定 OEM 关键字以唤醒的主机处理器、具有超声波功能的扬声器、和麦克风结合使用的接近检测,以及可以用来检测玻璃破损、烟雾警报的安全系统。
该产品的编程是通过带有楼氏电子和 Xtensa HiFi 3 指令集的“DSP SDK”来执行的,它支持语音和音频处理、语音用户界面和环境声音处理。另外,还有一个名为“Open DSP”的合作伙伴计划将第三方算法引入到楼氏电子的生态系统当中。在这过程中,楼氏电子的门户网站应该会提供相应的资源,包括解决方案套件、产品简介、论坛等。但该网站需要注册,注册后需要手动批准,我提交的注册目前就仍还在审核中。
他们对外的新闻稿中也提供了一些关于软件的见解,特别是对Amazon Alexa、Sensory、Retune和Alango语音服务的支持,以及针对AI/ML应用程序的TensorFlow Lite Micro SDK。我们还了解到该套件实际上带有两个麦克风阵列,一个阵列带有两个麦克风、另一个阵列带有三个麦克风。这样的整列其目的就是让开发人员评估和选择适合其特定应用的最佳解决方案。
AISonic IA8201音频和机器学习DSP
目前,该开发套件本身的信息还比较有限,不过我找到了有关 AISonic IA8201 DSP 的详细信息,它具有以下规格:
- 微控制器内核
- “DeltaMax”Xtensa LX5 128 位 4 路浮点 SIMD DSP 内核,具有针对基于帧的音频处理和 DNN 加速优化的 Knowles 指令集扩展
- “HemiDelta”Xtensa LX5 64 位 2 路浮点 SMID DSP 内核,具有 Xtensa HiFi 3 和 Knowles 指令集,针对低功耗进行了优化
- 内存 – 1.44MB RAM,包括用户可用的 1MB
- 音频接口
- 多达 4 个 PDM 数字麦克风 – 1 个立体声输入、4 个单声道输入和 1 个立体声输出,支持高达 144 MHz 的时钟速率
- 多达 3 个 I 2 S/TDM 端口,支持 8 个通道,每个通道使用 576 MHz 输入时钟传输 32 位音频数据
- 控制接口 – SPI、I 2 C、UART、可用的 GPIO
- 时钟高达 175 MHz
- 电压供应要求
- IA8201BC – 1.8V VDD
- IA8201CQ – 1.8V Vdd 和 3V Vdd
- 温度范围 -20 至 85°C
- 包装选项
- eWLB 3.00×2.6×0.715mm, 0.4 间距, 42 引脚(IA8201BC)
- QFN 6.00×6.00×0.75mm,5间距,40引脚(IA8201CQ)
据我了解,DSP和开发套件可用于各种应用。包括智能家居、家庭娱乐、智能建筑、住宅和商业安全,以及工业和商业领域的推理引擎。
楼氏电子的 IA8201 树莓派开发套件现在已经开放订购了。不过,价格和发货之类的细节,还是需要联系该公司才能了解,据我现在所了解的该套件暂时不在线销售。
其他的更多细节你们可以在devkit和AiSonic处理器的页面找到,后者还包括了AiSonic IA8508四核DSP,该四核DSP在IA8201 DSP的DeltaMax和HemiMax核的基础上增加了Cortex-M4和SSP(回声消除,采样率转换的单样本处理器)内核。
本文消息来源于LinuxGizmos。
文章翻译者:Jacob,嵌入式系统测试工程师、RAK高级工程师,物联网行业多年工作经验,熟悉嵌入式开发、测试各个环节,对不同产品有自己专业的分析与评估。