【大模型实践】基于文心一言的对话模型设计

文心一言(英文名:ERNIE Bot)是百度全新一代知识增强大语言模型文心大模型家族的新成员,能够与人对话互动、回答问题、协助创作,高效便捷地帮助人们获取信息知识灵感。文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。

本文使用gradio开发一个简单的对话页面,使用的大模型是文心一言。

一、获取token

百度的aistudio平台提供免费的文心一言调用token,每个用户100W个,点击token:

在我的令牌可以看到token:

后续会用到该token,请将代码中的token更换成自己的token。

二、编写代码

创建文件erniebot_test.py,代码如下,请将erniebot.access_token替换为自己的token:

bash 复制代码
import gradio as gr
import random
import time
import os

import erniebot 
import gradio as gr

def predict(content, his):
    if len(his)>0 and isinstance(his[0], list):
        his = his[0]
    erniebot.api_type = "aistudio"
    erniebot.access_token ="xxx"     # 替换为自己的token

    message = []
    for idx, msg in enumerate(his):
        if idx % 2 == 0:
            message.append(
                {'role': 'user',
                'content': msg,}
            )
        else:
            message.append(
                {'role': 'assistant',
                'content': msg,}
            )
    message.append(
                {'role': 'user',
                'content': content,}
            )

    response = erniebot.ChatCompletion.create(model="ernie-bot", messages=message)
    return response.result

with gr.Blocks() as demo:
    chatbot = gr.Chatbot()
    msg = gr.Textbox()
    clear = gr.ClearButton([msg, chatbot])

    def respond(message, chat_history):
        bot_message = predict(message, chat_history)
        chat_history.append((message, bot_message))
        return "", chat_history

    msg.submit(respond, [msg, chatbot], [msg, chatbot])

if __name__ == "__main__":
    demo.launch(inbrowser=True, server_port=80, share=True, server_name="0.0.0.0")

三、创建环境

您可以参考【深度学习实践】换脸应用dofaker本地部署中的anaconda安装教程完成anaconda的安装。

创建虚拟环境erniebot_test :

bash 复制代码
conda create -n erniebot_test python=3.10

如下图,提示输入Y/N时输入y:

进入该虚拟环境:

bash 复制代码
conda activate erniebot_test

如下图:

安装依赖:

bash 复制代码
pip install -U erniebot -i https://mirrors.aliyun.com/pypi/simple/
pip install -U gradio -i https://mirrors.aliyun.com/pypi/simple/

运行代码:

bash 复制代码
python erniebot_test.py

如下图:

浏览器打开127.0.0.1即可:

在下方的文本框输入,按回车开启对话:

相关推荐
哈__7 小时前
文心一言4.5开源部署指南及文学领域测评
人工智能·ai·文心一言·paddlepaddle
聚客AI9 小时前
搜索引擎vs向量数据库:LangChain混合检索架构实战解析
人工智能·pytorch·语言模型·自然语言处理·数据分析·gpt-3·文心一言
百度Geek说1 天前
PaddleOCR 3.1发布:文心助力30+语种文字识别精度提升30%+,关键能力支持MCP
文心一言
初九之潜龙勿用3 天前
文心一言4.5开源模型测评:ERNIE-4.5-0.3B超轻量模型部署指南
开源·dubbo·文心一言
张晓~183399481213 天前
数字人源码部署流程分享--- PC+小程序融合方案
javascript·小程序·矩阵·aigc·文心一言·html5
Qiuner5 天前
【源力觉醒 创作者计划】开源、易用、强中文:文心一言4.5或是 普通人/非AI程序员 的第一款中文AI?
人工智能·百度·开源·文心一言·gitcode
Sweet锦5 天前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
Sherlock Ma5 天前
百度开源文心一言4.5:论文解读和使用入门
人工智能·百度·自然语言处理·开源·大模型·文心一言·多模态
一支烟一朵花5 天前
630,百度文心大模型4.5系列开源!真香
人工智能·百度·开源·文心一言