论文标题：Embedded Intelligence for Smart Home Using TinyML Approaches to Keyword Spotting
中文标题：使用TinyML方法的智能家居嵌入式智能关键词识别
作者信息：
- Jyoti Mishra，Manipal University Jaipur, Jaipur 303007, Rajasthan, India; jyoti.191018608@muj.manipal.edu
- Timothy Malche，Department of Computer Applications, Manipal University Jaipur, Jaipur 303007, Rajasthan, India; *Correspondence: timothy.malche@jaipur.manipal.edu;
- Amit Hirawat，Department of Computer Applications, Manipal University Jaipur, Jaipur 303007, Rajasthan, India; amit.hirawat@jaipur.manipal.edu
论文出处：Eng. Proc. 2024, 6, x. https://doi.org/10.3390/xxxxx
摘要： 本研究聚焦于智能家居自动化领域，旨在通过集成物联网（IoT）和机器学习等新兴技术，创造提供增强便利性、效率和安全性的智能家居解决方案。研究提出了一种基于TinyML（Tiny Machine Learning）的关键词识别机器学习模型和系统，该系统能够通过语音命令控制家庭设备，且仅需极少的计算资源和实时性能。研究的主要目标是为资源受限的设备开发TinyML模型。该系统通过集成语音控制，高效识别特定关键词或短语，增强用户便利性和可访问性。研究收集了不同年龄组用户在家庭环境中的不同语音关键词，并使用机器学习算法进行训练。然后，开发了一个基于IoT的系统，利用TinyML模型识别特定的语音命令并执行家庭自动化任务。该模型在关键词分类方面达到了98%的准确率，F1分数为1.00，召回率为92%。量化模型的延迟为5毫秒，使用7.9K的RAM和43.7K的闪存，非常适合资源受限的设备。研究结果表明，将关键词识别模型部署在资源受限的IoT设备上进行家庭自动化是可行的，有助于构建高效且用户友好的智能家居解决方案，增强家庭自动化系统的可访问性和功能性。
引言： TinyML技术将智能带入小型嵌入式设备。在智能家居中，TinyML驱动的设备可以更高效、更自主地运行，无需持续连接互联网，从而提高隐私性、响应速度，并提供更实时的体验。关键词识别（KWS）是智能家居自动化的关键技术，它允许设备识别特定的语音命令，使用户能够使用自然语言与家庭互动。TinyML是一种强大的方法，使得在小型嵌入式设备上实现KWS成为可能。通过整合TinyML，智能家居设备能够本地识别并响应语音命令，这不仅提高了隐私性，还减少了对互联网连接的依赖。
相关工作： 论文回顾了智能家居自动化领域的相关研究，包括使用Amazon Echo、Alexa和Google Home的基于云计算的语音控制家庭自动化系统，以及使用MFCC特征提取和SVM的语音活动检测等。
材料和方法： 研究使用了来自10个印度家庭成员的实时语音数据集，这些成员年龄和性别各异，用英语进行实验。数据集总时长为4小时58秒，经过清洗和处理后，获得了包含14个不同关键词的14521个音频样本，每个样本持续1秒。这些样本包括由10个家庭成员说出的14个关键词，如"hello"、"hi"、"welcome"等。神经网络模型被训练以从14个选项中识别特定关键词。整个数据集被分为训练集和测试集，比例为80:20，同一家庭成员的音频剪辑被保留在同一集合中。
神经网络架构： 神经网络模型经过100次训练周期，学习率为0.005。模型的输入为1×39×13，第一层卷积层应用16个滤波器，每个滤波器大小为1×3×13。该层从输入图像中提取局部特征。应用ReLU激活函数引入非线性。最大池化层降低卷积层输出的维度，减少计算成本。第二层卷积层应用32个滤波器，每个滤波器大小为1×3×16。该层从上一层输出中提取更复杂的特征。输出被展平为一维向量1×320。一个全连接层将展平的特征映射到14个输出类别。Softmax层应用softmax激活函数，将输出概率归一化，确保它们总和为1。最终输出是一个1×14的向量，代表14个类别的预测概率。
结果与讨论： 实验通过在目标设备上部署KWS模型来测试提出的模型。使用的硬件组件包括Arduino Nicla Vision，它包含双核心STM32H747处理器、2MP摄像头、6轴IMU和麦克风。模型在训练数据集上实现了0.99的F1分数，表明了强大的性能。在测试数据集上，模型展示了高准确率和精确度。
结论： 研究成功开发了一种适用于资源受限设备的新型关键词识别模型。该模型在保持最小计算需求的同时实现了高准确率。模型能够实时准确识别关键词，显示出在智能家居自动化和其他语音控制设备中的实际应用潜力。模型在训练数据集上的准确率为99.1%，在测试数据集上的准确率为98.65%。量化模型针对延迟、内存占用和资源有限设备上的部署准确性进行了优化。模型展示了实时能力，能够及时响应语音命令。未来的研究可以探索模型处理更复杂场景的能力，如背景噪音和多个同时说话者。