MAX78000“魔杖”项目中期报告
智慧魔杖项目:语音识别加上动作识别;就是语音识别出所念的咒语加上识别六轴姿态传感器所得到的手腕挥动轨迹,都满足要求即为一个合格的“魔法”动作,会有相应的结果。
标签
AI
语音识别
MAX78000
lxb
更新2022-12-07
哈尔滨工业大学
525

       说来惭愧,因为出差加上疫情,这一个月都是在外面度过的,也忘记带上MAX78000了,所以可以说没有什么进展。(现在还被封在学校外面呢,悲)

(1)项目介绍:

       就是想做一个类似哈利波特里的那种魔杖一样,或者类似东方法术中的画符那样,就是你念出正确的“咒语”,同时做出正确的挥舞动作,就能产生某种“魔法”效果。

       这就需要语音识别出所念的是何“咒语”,动作识别出所手腕所挥舞出的动作,最总会对应到相应的表现结果。

(2)项目设计思路:

        语音识别:这个MAX78000FTHR板子上面集成了SPH0645LM4H-B数字麦克风,加上github上的教程,应该可以做到关键字识别

        动作识别:funpack2-1里是Syntiant TinyML 板,里面有一个IMU,可以做动作识别,这两个板子之间通过UART通信,相当于动作识别的神经网络模型部署在Syntiant那个板子上,减少了MAX78000的计算压力

        结果表现:emm,本来想是通过esp32利用wifi远程控制灯的,但就需要其他的部件了,就会让“魔杖”显得臃肿,出于简化目的而言,目前考虑的是用RGB灯的不同表现对应到不同的“魔咒”或者说“法术”上

(3)搜集素材的思路

        语音识别:MAX78000的关键词识别在美信的AI的github上有不少案例了,应该不会过于麻烦,MAX78000的入门教程github的readme文件上也有说明,目前跟下来没什么问题

       动作识别:虽说funpack2-1我当时做的是语音识别,不过看教程时也了解了一些动作识别模型的训练,差别目前看来不是很大,至于Syntiant TinyML 板与MAX78000通信的事情,还没有深入了解,但应该也不会麻烦。

(4)预训练实现过程

        还没做呢,悲,进不去学校啊,只是实现了win11+Ubuntu20.04的双系统安装,以及最早时更新了固件。

团队介绍
大四电信学院信息对抗专业
团队成员
lxb
哈尔滨工业大学电信学院信息对抗专业
评论
0 / 100
查看更多
目录
硬禾服务号
关注最新动态
0512-67862536
info@eetree.cn
江苏省苏州市苏州工业园区新平街388号腾飞创新园A2幢815室
苏州硬禾信息科技有限公司
Copyright © 2023 苏州硬禾信息科技有限公司 All Rights Reserved 苏ICP备19040198号