Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能

引言

2023年,IT领域的焦点无疑是ChatGPT,然而,同属OpenAI的开源产品Whisper似乎鲜少引起足够的注意。

Whisper是一款自动语音识别系统,可以识别来自99种不同语言的语音并将其转录为文字。

如果说ChatGPT为计算机赋予了大脑,那么Whisper则为其赋予了耳朵。

想象一下,在企业应用领域,我们能够利用Whisper将语音转化为文字,然后再借助ChatGPT来进行翻译或总结。

接下来,我们将以实际操作为出发点,逐步向您介绍如何利用AI实现音频、视频的内容总结。

前期准备

GPU

首先,我们需要解决硬件方面的问题。

虽然OpenAI提供了HTTP API来调用Whisper,但对于企业而言,将内部内容交给OpenAI始终存在一定的安全风险。

本地运行AI模型则需要大量的计算资源。

如果仅使用CPU进行计算,一个大约10分钟的语音转录任务可能需要花费4倍以上的时间。

因此,我们必须引入GPU进行计算加速。

考虑到Colab在国内无法访问,我们建议在Kaggle上运行演示。

请大家注册Kaggle账户,并完成手机号验证(Kaggle的GPU需要完成手机号验证后才能使用)。

Azure ChatGPT

ChatGPT是我们语音内容总结的核心工具。

我们建议使用Azure OpenAI服务。

您可以参考以下文章来申请:Azure OpenAI Service申请教程

kintone

kintone是我们用来存储记录的平台。我们需要创建一个名为"Reports"的应用程序(APP),并定义以下表单字段:

运行

您可以在这里找到演示代码:

GitHub - kintone-samples/SAMPLE-kintone-narrator-cn: Utilize AI to summarize video/audio content and upload it to Kintone.

点击"open in kaggle"。

请按照以下步骤操作:

1.点击Edit,进入编辑状态

2.在右侧的Notebook options中,我们需要将Acceleator选为GPU T4*2

注:

  1. 没验证手机的账户不会显示Acceleator选项。

  2. GPU P100不支持当前默认float16运算,选择该显卡的用户请将"语音转录&对齐"中的compute_type设为float32。

  3. TPU尚未测试支持。

3.找到名为"Azure OpanAI ChatGPT 总结 "和"将总结内容上传"的代码单元(cell),然后根据您自己的环境设置进行配置。

4.点击页面上方的"Run All"按钮以开始运行演示。

等待程序运行结束即可。

下面我将对会每个代码单元的功能进行简要说明,感兴趣的可以继续往下研究:

Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能

相关推荐
孤狼GPT2 小时前
ChatGPT、Codex实战:为什么AI一次改太多代码,反而更容易出问题?
chatgpt·codex·ai agent·chatgpt plus·chatgpt pro·ai coding
不灭的程序员阿澄6 小时前
把多个 AI 网站装进一个常驻托盘的桌面窗口里,像切换原生 App 一样切换 AI
人工智能·chatgpt
精彩AI说7 小时前
ChatGPT生成的内容太长怎么办?控制字数、精简回答与输出长度设置方法
chatgpt·ai写作·提示词·ai工具·chatgpt教程·内容精简
Linguwen8 小时前
中山GEO分享会回顾文
人工智能·chatgpt
孤狼GPT1 天前
ChatGPT、Codex实战:为什么AI改代码越来越快,但你越来越不敢直接合并?
chatgpt·codex·ai agent·chatgpt plus·chatgpt pro·ai coding
松小鼠呀1 天前
我不敢再生孩子:ChatGPT 曾花 $2m 让他闭嘴,AI 巨头到底隐藏了什么秘密?
人工智能·安全·chatgpt·ai编程·科技热点
仙逆GPT1 天前
ChatGPT、Codex趋势:为什么AI时代最重要的能力,不是写代码,而是定义问题?
chatgpt·codex·ai agent·chatgpt plus·chatgpt pro·ai coding
AI导出鸭1 天前
怎么让文心做表格?AI导出鸭苹果版将文心输出的管道表格智能解析为二维结构,一键导出为Excel或Word标准表格
人工智能·chatgpt·word·excel·ai导出鸭
MindUp2 天前
多款AI语音转写+LLM复盘方案横评:从Whisper本地部署到网盘智能体全链路实测
人工智能·whisper
wujian83112 天前
AI手机版怎么直接生成word?用“AI 导出鸭”把碎片时间变成专业文档
人工智能·ai·chatgpt·智能手机·word·ai导出鸭