HarmonyOS SDK助力讯飞听见App能力建设

讯飞听见App作为一款AI语音记录的工具助手,其核心优势在于实时转写和音频转文字功能。在实时录音转文字方面,讯飞听见App提供14种语言的自由转写,在转写的同时支持8国语言的随时互译。此外,在专业录音场景中,用户可以在录音时同步记录灵感。针对影视作品、博客记录、直播等特殊场景,也提供了悬浮字幕功能,方便用户实时查看对话内容。

为了进一步提升用户体验,讯飞听见App结合了AI大模型技术,能够对录音内容进行自动甄别、智能问答和AI速览。用户还可以将转写后的文字内容以TXT或Word格式导出分享,满足不同场景下的使用需求。

讯飞听见App的数据管理分为云端数据和本地数据两大类。云端数据涵盖用户信息、转文字文件列表、转写结果以及用户权益等重要信息,确保数据安全且便于跨设备同步。本地数据则包括用户通过App录音生成的音频文件、导入的文件、录音过程中拍摄的图片以及用户记录的随想随记等,这些数据通过本地数据库进行高效维护,保障用户在离线状态下的数据访问和管理需求。

为了确保用户在从 HarmonyOS 4.X 升级到 HarmonyOS 5.X 系统时,不会出现数据丢失的情况,讯飞听见App借助HarmonyOS SDK文件基础服务(Core File Kit)的能力,实现用户数据的无缝迁移。在4.X系统中,用户使用讯飞听见App产生的所有数据均存储于沙箱存储中。当用户升级到5.X系统后,系统会自动将这些沙箱存储的文件迁移到中间目录,并自动下载讯飞听见App的鸿蒙端应用。下载完成后,系统会进一步将中间目录中的数据迁移到备份目录,并通过BackupExtensionAbility进行数据恢复。

数据恢复过程包括文件迁移和数据库迁移两部分。在文件迁移阶段,系统会将备份恢复目录下的所有数据文件按照原有结构进行恢复,并将数据库文件放置到5.X系统沙箱存储的数据库目录下。例如,一个正常的录音文件会被放置到新的沙箱存储录音目录中。然而,在迁移过程中,无法直接打开数据库并读取其中的所有文件。

为了解决这一问题,讯飞听见App创建了一个适用于5.0X系统本地的数据库和数据表。创建新数据库的目的是对一些数据进行修正,例如剔除不再需要的字段,以及对部分数据进行校正。将导入的数据修正后,再将其放置到新的数据库中。完成导入后,用户打开鸿蒙端的讯飞听见App时,可以直接导入沙箱目录中的数据,确保数据的完整性和准确性。

借助 Core File Kit 能力实现数据迁移,为讯飞听见App带来了显著的价值。从工作量来看,从调研、技术研发到测试,包括测试过程中准备数据,总体仅需15人天,且核心代码量约500行。在典型场景中,用户使用APP过程中产生的35个文件(包括用户导入的音频、录音音频、录音中拍摄的照片以及其他本地记录文件,总大小达1.38G),迁移过程仅需2.3s,数据还原度和业务连续性均达到100% (*数据来源于讯飞听见),确保用户在升级到 HarmonyOS 5.X 系统后,可以无缝平滑地升级讯飞听见APP,享受无差异的使用体验。

讯飞听见App在支持14种语言转写和8国语言翻译的基础上,进一步拓展了用户场景,特别是针对场外直播和观看国外音视频的需求,借助HarmonyOS SDK 方舟UI框架(ArkUI)画中画功能实现了悬浮字幕能力,为用户提供了更加便捷的使用方式。

这一功能的实现为讯飞听见App带来了多方面的价值:

首先,悬浮字幕功能大幅提升了便捷性。在传统设备上,用户若想使用悬浮字幕,必须手动打开相关权限,并在设置界面中开启悬浮窗功能,操作较为繁琐。而HarmonyOS通过画中画功能,用户只需简单点击即可直接开启悬浮字幕,无需额外设置,且在手机和平板上都能提供一致的流畅体验。

其次,悬浮字幕功能丰富了App的功能场景,尤其是对于直播画面。随着年轻用户群体对直播等内容的喜爱,悬浮字幕功能的加入吸引了更多年轻用户群体,拓宽了讯飞听见App的用户基础,用户群体更加多元。

最后,悬浮字幕功能的开发过程高效迅速,仅需5人日即可完成(*数据来源于讯飞听见),展现了HarmonyOS在开发效率上的优势。

在使用应用时,用户常常需要查看语音转文字的结果,并希望分享音频、转写内容或对应的链接。讯飞听见App不仅支持对用户录音及导入音频的转写,还注重转写结果的查看与分享功能。例如,会议记录员可以将转写结果导出并回听。为了实现便捷的分享功能,讯飞听见App借助了HarmonyOS SDK的分享服务(Share Kit)

通过在Module.json5文件中添加配置,并通过接口直接拉取分享,添加不同参数即可轻松实现。

Module.json5配置

拉起分享

用户点击分享即可发送音频、doc、txt、链接等,手机和平板的体验一致,直接调用鸿蒙设备分享面板,无需二次开发UI,无需申请SDK及嵌入数据,大大简化了开发流程,从研发到测试完成仅用了3人日(*数据来源于讯飞听见)。这一功能不仅提升了用户体验,还增加了App安装量,为应用引流带来了显著效果。

HarmonyOS SDK的强大能力为讯飞听见App带来了无限的拓展空间。未来,讯飞听见App将借助HarmonyOS SDK的音频服务(Audio Kit)实现内录功能,提升录音体验;利用方舟UI框架(ArkUI)优化转写结果的编辑和图片渲染效果;借助AI大模型实现AI转写结果的智能问答和AI纪要功能,进一步提升内容处理的智能化水平;此外,通过短距通信服务(Connectivity Kit)中的蓝牙能力,实现硬件设备的连接,支持文件同步和转写,丰富应用场景。 HarmonyOS SDK期待与讯飞听见App以及更多合作伙伴携手,共同探索技术的无限可能,为用户带来更智能、更便捷的语音记录与转写体验,共同"听见更大的世界"。

了解更多详情>>

访问HarmonyOS SDK官网