本地部署bert-base-chinese模型交互式问答,gradio

首先下载bert-base-chinese,可以在 Huggingface, modelscope, github下载

pip install gradio torch transformers

python 复制代码
import gradio as gr
import torch
from transformers import BertTokenizer, BertForQuestionAnswering

# 加载bert-base-chinese模型和分词器
model_name = "D:/dev/php/magook/trunk/server/learn-python/models/bert-base-chinese"
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForQuestionAnswering.from_pretrained(model_name)


def question_answering(context, question):
    # 使用分词器对输入进行处理
    inputs = tokenizer(question, context, return_tensors="pt")
    # 调用模型进行问答
    outputs = model(**inputs)
    # 获取答案的起始和结束位置
    start_scores = outputs.start_logits
    end_scores = outputs.end_logits
    # 获取最佳答案
    answer_start = torch.argmax(start_scores)
    answer_end = torch.argmax(end_scores) + 1
    answer = tokenizer.decode(inputs["input_ids"][0][answer_start:answer_end])
    return answer


# 创建Gradio界面
interface = gr.Interface(
    fn=question_answering,
    inputs=["text", "text"],  # 输入分别为context和question
    outputs="text",  # 输出为答案
)

interface.launch()

运行

bash 复制代码
> python llm_and_transformer/bert/use_bert-base-chinese4.py
Some weights of BertForQuestionAnswering were not initialized from the model checkpoint at D:/dev/php/magook/trunk/server/learn-python/models/bert-base-chinese and are
newly initialized: ['qa_outputs.bias', 'qa_outputs.weight']
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.

访问 http://127.0.0.1:7860

相关推荐
ZOMI酱9 分钟前
【AI系统】轻量级CNN模型综述
人工智能·神经网络·cnn
Howard0o011 分钟前
丢垃圾视频时间检测 -- 基于状态机的实现
人工智能·视频事件检测
終不似少年遊*17 分钟前
神经网络-CNN
人工智能·深度学习·神经网络·机器学习·cnn
宋一诺3333 分钟前
机器学习—选择拆分信息增益
人工智能·机器学习
哪吒编程34 分钟前
AWS Swami:人工智能是一场马拉松,不是百米冲刺
人工智能·机器学习
pzx_0011 小时前
【Leetcode】26.删除有序数组中的重复项
c++·人工智能·深度学习·算法·leetcode·职场和发展
白云如幻1 小时前
最新AI问答创作运营系统(SparkAi系统),GPT-4.0/GPT-4o多模态模型+联网搜索提问+问答分析+AI绘画+管理后台系统
人工智能·ai作画·aigc
莫叫石榴姐1 小时前
数据分析及应用:滴滴出行打车日志数据分析
人工智能·深度学习·算法·数据挖掘·数据分析
肖遥Janic2 小时前
ComfyUI绘画|提示词反推工作流,实现自动化书写提示词
人工智能·ai·ai作画·comfyui
安静的_显眼包O_o2 小时前
classification_report分类报告的含义
人工智能·分类·数据挖掘