Funpack第二季第一期:Syntiant TinyML Board——实现RGB灯显示语音指令的项目
本次使用Syntiant TinyML Board板卡,使用SPH0641LM4H麦克风收集并识别语音,其中,“渔火开灯”用于打开绿灯,“关灯渔火”用于打开红灯,“闪烁灯光”用于打开蓝灯。
标签
测试
显示
网络与通信
杨不止
更新2022-07-05
安徽师范大学
475

一、Syntiant TinyML Board板卡介绍

配备超低功耗 Syntiant ® NDP101神经决策处理器™,可以使语音和传感器应用程序分别在 140 和 100 微瓦以下运行,与基于 MCU 的传统 MCU 相比,吞吐量提高 20 倍,系统效率提高 200 倍。Syntiant TinyML 板的尺寸为 24 毫米 x 28 毫米,是一个小型的独立系统,通过微型 USB 连接通过 Edge Impulse 轻松下载经过训练的模型,而无需任何专用硬件。

 

其中,本次使用到了板卡上的SPH0641LM4H麦克风传感器,收集语音,线上在 Edge Impulse 中进行训练,然后生成两个关于 Syntiant 的.zip文件,在进行更新到板卡中。

 

二、Syntiant TinyML Board板卡任务完成

使用Syntiant TinyML Board板卡完成任务一,训练不少于3个中文语音指令来控制板子上的RGB灯的亮灭不同效果。我使用了“渔火开灯”语音热词来控制板子的绿灯亮起,“关灯渔火”语音热词来控制板子的红灯亮起,“闪烁灯光”来控制板子的蓝灯亮起。

(注:本项目中,中文语音指令的含义并不是灯板亮灯的真正效果,只是通过中文语音指令来控制亮灯效果

 

 

二、相关代码分析及解析

  Serial.print(confidence);
  Serial.print("   ");
  Serial.print(anomaly_score);
  Serial.print("    "); 
  Serial.println(event);

此处代码用于出串口打印,方便实际的调试,比如,灯亮起了,在串口会打印出那个中文语音热词是1,即检测到用户在说这个中文语音热词。

 

   if (strcmp(event, "guandeng-yuhuo") == 0) {
       // Toggle LED
       digitalWrite(LED_RED, HIGH);
       digitalWrite(LED_GREEN, LOW);
       digitalWrite(LED_BLUE, LOW);
   }

   if (strcmp(event, "yuhuo-kaideng") == 0) {
       // Toggle LED
       digitalWrite(LED_RED, LOW);
       digitalWrite(LED_GREEN, HIGH);
       digitalWrite(LED_BLUE, LOW);
   }

   if (strcmp(event, "shanshuodengguang") == 0) {
       // Toggle LED
       digitalWrite(LED_RED, LOW);
       digitalWrite(LED_GREEN, LOW);
       digitalWrite(LED_BLUE, HIGH);  
   }

此处代码为主要实现控制板卡上的RGB灯亮起的效果,其中,“渔火开灯”语音热词控制板子的绿灯亮起,“关灯渔火”语音热词控制板子的红灯亮起,“闪烁灯光”控制板子的蓝灯亮起。

(注:本项目代码并不复杂,难度主要在于机器训练的过程,且库也是同时生成的哦。)

 

四、功能展示及说明

用户说出“渔火开灯”中文语音指令时,板卡RGB亮起绿灯,串口打印相关信息。

FgqxQAWx92xJ0eF52E6IT1Js8uva

 

用户说出“关灯渔火”中文语音指令时,板卡RGB亮起红灯,串口打印相关信息。

FhRCw5IiwFk_qS8on-xH9ilOtqhN

 

用户说出“闪烁灯光”中文语音指令时,板卡RGB亮起蓝灯,串口打印相关信息。

FsgrDCWaZA1gdlyiwmEitNHkhHDW

 

五、对本活动的心得体会

首先呢!非常感谢硬禾学堂举办的FunPack第二季第一期——玩成功就全额退,是FunPack主题系列活动的第二季的第一期,这也是我参加的第4个硬禾学堂活动,每一次参加都收获满满,无论是硬件知识还是软件知识。相比于之前参加的活动,这一次学习机器学习方面的知识,对arduino编译环境有了更深刻的应用和了解。同时,使用了 Edge Impulse 线上训练,对之前的第12期 Wio Terminal板卡 还有机器学习的新玩法也是有了一个新的认识,可以说是新的收获,无意之中找到了一模一样的 Wio Terminal板卡 图标,有时间回家ing。

真心希望硬禾学堂越来越好!!!蒸的C哦。

 

附件下载
main_code.zip
团队介绍
渔火尔尔
评论
0 / 100
查看更多
硬禾服务号
关注最新动态
0512-67862536
info@eetree.cn
江苏省苏州市苏州工业园区新平街388号腾飞创新园A2幢815室
苏州硬禾信息科技有限公司
Copyright © 2023 苏州硬禾信息科技有限公司 All Rights Reserved 苏ICP备19040198号