只要三分钟！使用OpenAI API构建语音对话聊天机器人

使用Gradio和OpenAI API构建音频处理应用的实践指南

在这篇文章中，我们将深入探讨如何结合Gradio库和OpenAI API，创建一个功能丰富的音频处理应用。通过本指南，你将学会如何利用这些强大的工具，实现音频转文本、文本处理以及文字转语音的完整流程。本项目的目的在于展示如何有效融合使用OpenAI的多项API能力，为你提供一个既实用又灵活的技术解决方案。

环境准备

首先，请确保你的Python环境中已经安装了gradio和openai库。这两个库将作为构建应用的基础。Gradio用于创建交互式Web界面，而OpenAI库则用于调用OpenAI提供的API服务。

初始化OpenAI客户端

在项目的开始，我们需要初始化OpenAI客户端，并配置你的API密钥。这一步骤是确保你能够成功调用OpenAI服务的关键。

python 复制代码

from openai import OpenAI

client = OpenAI(api_key='你的API密钥')

实现音频转文本功能

定义一个函数transcribe_audio，它将使用OpenAI的音频转录API（例如Whisper模型）将音频文件转换为文本。这一步是实现音频内容理解和进一步处理的基础。

python 复制代码

def transcribe_audio(audio_file_path):
    with open(audio_file_path, "rb") as audio_file:
        transcribed_text = client.audio.transcriptions.create(
            model="whisper-1", 
            file=audio_file, 
            response_format="text"
        ).text
    return transcribed_text

使用GPT-3.5进行文本处理

将转录得到的文本输入GPT-3.5模型进行进一步处理。你可以根据需求定制这一步骤，例如生成摘要、回答问题或进行其他类型的文本转换。

python 复制代码

def process_text_with_gpt(text):
    response = client.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": text}
        ]
    )
    return response.choices[0].message.content

实现文字转语音

通过OpenAI的文字转语音API，将处理后的文本转换为语音。这一功能为应用增加了一个有趣且实用的交互维度。

python 复制代码

def text_to_speech(text):
    speech_response = client.audio.speech.create(
        model="tts-1",
        voice="alloy",
        input=text
    )
    speech_file_path = "output_speech.mp3"
    speech_response.stream_to_file(speech_file_path)
    return speech_file_path

构建Gradio界面

利用Gradio，我们可以为这个应用创建一个简单而直观的Web界面，使用户能够轻松上传音频文件、查看转录文本和GPT-3.5的处理结果，以及播放生成的语音。

python 复制代码

import gradio as gr

def create_interface():
    with gr.Blocks() as app:
        audio_input = gr.Audio(type="filepath", label="上传音频")
        transcribe_btn = gr.Button("转录音频")
        output_text = gr.Textbox(label="转录文本")
        process_btn = gr.Button("处理文本")
        output_processed_text = gr.Textbox(label="处理后的文本")
        play_audio = gr.Audio(label="播放处理后的语音", type="filepath")

        transcribe_btn.click(transcribe_audio, inputs=audio_input, outputs=output_text)
        process_btn.click(process_text_with_gpt, inputs=output_text, outputs=output_processed_text)
        process_btn.click(text_to_speech

, inputs=output_processed_text, outputs=play_audio)

    return app

app = create_interface()
app.launch()

完整代码

python 复制代码

import gradio as gr
from openai import OpenAI
from pathlib import Path

# 配置你的apikey ，如果在国内可能还需要配置openai接口镜像地址
client = OpenAI(
    api_key='',
    base_url=''
)


def transcribe_audio(audio_file_path):
    with open(audio_file_path, "rb") as audio_file:
        transcribed_text =  client.audio.transcriptions.create(
        model="whisper-1", 
        file=audio_file, 
        response_format="text"
    )
    # 使用 GPT-3.5 处理转录的文本
    response = client.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": transcribed_text}
        ]
    )
    gpt_response = response.choices[0].message.content

    speech_response = client.audio.speech.create(
        model="tts-1",
        voice="alloy",
        input=gpt_response
    )
    speech_file_path = Path("speech.mp3")
    speech_response.stream_to_file(speech_file_path)

    return transcribed_text, gpt_response,speech_file_path

# 创建 Gradio 界面
with gr.Blocks() as demo:
    with gr.Row():
        audio_input = gr.Audio(type="filepath", label="录音")
        
    with gr.Row():
        transcribed_text = gr.Textbox(label="转录文本")
        gpt_response_output = gr.Textbox(label="GPT-3.5 回应")
        speech_file_path = gr.Audio(label="播放语音回应", type="filepath")

    gr.Button("转录").click(
        fn=transcribe_audio, 
        inputs=audio_input, 
         outputs=[transcribed_text, gpt_response_output, speech_file_path]
    )

demo.launch()

结语

通过以上步骤，我们展示了如何使用Gradio和OpenAI API构建一个完整的音频处理应用。这个实践指南不仅提供了技术实现的详细说明，也展示了将多项AI技术整合应用的可能性。希望这能为你在构建自己的AI应用项目时提供启发和帮助。