使用TinyML方法的智能家居嵌入式智能关键词识别

论文标题:Embedded Intelligence for Smart Home Using TinyML Approaches to Keyword Spotting

中文标题:使用TinyML方法的智能家居嵌入式智能关键词识别

作者信息:

论文出处:Eng. Proc. 2024, 6, x. https://doi.org/10.3390/xxxxx

摘要: 本研究聚焦于智能家居自动化领域,旨在通过集成物联网(IoT)和机器学习等新兴技术,创造提供增强便利性、效率和安全性的智能家居解决方案。研究提出了一种基于TinyML(Tiny Machine Learning)的关键词识别机器学习模型和系统,该系统能够通过语音命令控制家庭设备,且仅需极少的计算资源和实时性能。研究的主要目标是为资源受限的设备开发TinyML模型。该系统通过集成语音控制,高效识别特定关键词或短语,增强用户便利性和可访问性。研究收集了不同年龄组用户在家庭环境中的不同语音关键词,并使用机器学习算法进行训练。然后,开发了一个基于IoT的系统,利用TinyML模型识别特定的语音命令并执行家庭自动化任务。该模型在关键词分类方面达到了98%的准确率,F1分数为1.00,召回率为92%。量化模型的延迟为5毫秒,使用7.9K的RAM和43.7K的闪存,非常适合资源受限的设备。研究结果表明,将关键词识别模型部署在资源受限的IoT设备上进行家庭自动化是可行的,有助于构建高效且用户友好的智能家居解决方案,增强家庭自动化系统的可访问性和功能性。

引言: TinyML技术将智能带入小型嵌入式设备。在智能家居中,TinyML驱动的设备可以更高效、更自主地运行,无需持续连接互联网,从而提高隐私性、响应速度,并提供更实时的体验。关键词识别(KWS)是智能家居自动化的关键技术,它允许设备识别特定的语音命令,使用户能够使用自然语言与家庭互动。TinyML是一种强大的方法,使得在小型嵌入式设备上实现KWS成为可能。通过整合TinyML,智能家居设备能够本地识别并响应语音命令,这不仅提高了隐私性,还减少了对互联网连接的依赖。

相关工作: 论文回顾了智能家居自动化领域的相关研究,包括使用Amazon Echo、Alexa和Google Home的基于云计算的语音控制家庭自动化系统,以及使用MFCC特征提取和SVM的语音活动检测等。

材料和方法: 研究使用了来自10个印度家庭成员的实时语音数据集,这些成员年龄和性别各异,用英语进行实验。数据集总时长为4小时58秒,经过清洗和处理后,获得了包含14个不同关键词的14521个音频样本,每个样本持续1秒。这些样本包括由10个家庭成员说出的14个关键词,如"hello"、"hi"、"welcome"等。神经网络模型被训练以从14个选项中识别特定关键词。整个数据集被分为训练集和测试集,比例为80:20,同一家庭成员的音频剪辑被保留在同一集合中。

神经网络架构: 神经网络模型经过100次训练周期,学习率为0.005。模型的输入为1×39×13,第一层卷积层应用16个滤波器,每个滤波器大小为1×3×13。该层从输入图像中提取局部特征。应用ReLU激活函数引入非线性。最大池化层降低卷积层输出的维度,减少计算成本。第二层卷积层应用32个滤波器,每个滤波器大小为1×3×16。该层从上一层输出中提取更复杂的特征。输出被展平为一维向量1×320。一个全连接层将展平的特征映射到14个输出类别。Softmax层应用softmax激活函数,将输出概率归一化,确保它们总和为1。最终输出是一个1×14的向量,代表14个类别的预测概率。

结果与讨论: 实验通过在目标设备上部署KWS模型来测试提出的模型。使用的硬件组件包括Arduino Nicla Vision,它包含双核心STM32H747处理器、2MP摄像头、6轴IMU和麦克风。模型在训练数据集上实现了0.99的F1分数,表明了强大的性能。在测试数据集上,模型展示了高准确率和精确度。

结论: 研究成功开发了一种适用于资源受限设备的新型关键词识别模型。该模型在保持最小计算需求的同时实现了高准确率。模型能够实时准确识别关键词,显示出在智能家居自动化和其他语音控制设备中的实际应用潜力。模型在训练数据集上的准确率为99.1%,在测试数据集上的准确率为98.65%。量化模型针对延迟、内存占用和资源有限设备上的部署准确性进行了优化。模型展示了实时能力,能够及时响应语音命令。未来的研究可以探索模型处理更复杂场景的能力,如背景噪音和多个同时说话者。

相关推荐
孟健7 分钟前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道8 分钟前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99641 分钟前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队2 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术2 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream3 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴3 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区3 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li4 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu4 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端