本地部署bert-base-chinese模型交互式问答,gradio

首先下载bert-base-chinese,可以在 Huggingface, modelscope, github下载

pip install gradio torch transformers

python 复制代码
import gradio as gr
import torch
from transformers import BertTokenizer, BertForQuestionAnswering

# 加载bert-base-chinese模型和分词器
model_name = "D:/dev/php/magook/trunk/server/learn-python/models/bert-base-chinese"
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForQuestionAnswering.from_pretrained(model_name)


def question_answering(context, question):
    # 使用分词器对输入进行处理
    inputs = tokenizer(question, context, return_tensors="pt")
    # 调用模型进行问答
    outputs = model(**inputs)
    # 获取答案的起始和结束位置
    start_scores = outputs.start_logits
    end_scores = outputs.end_logits
    # 获取最佳答案
    answer_start = torch.argmax(start_scores)
    answer_end = torch.argmax(end_scores) + 1
    answer = tokenizer.decode(inputs["input_ids"][0][answer_start:answer_end])
    return answer


# 创建Gradio界面
interface = gr.Interface(
    fn=question_answering,
    inputs=["text", "text"],  # 输入分别为context和question
    outputs="text",  # 输出为答案
)

interface.launch()

运行

bash 复制代码
> python llm_and_transformer/bert/use_bert-base-chinese4.py
Some weights of BertForQuestionAnswering were not initialized from the model checkpoint at D:/dev/php/magook/trunk/server/learn-python/models/bert-base-chinese and are
newly initialized: ['qa_outputs.bias', 'qa_outputs.weight']
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.

访问 http://127.0.0.1:7860

相关推荐
张小生1801 小时前
《YOLO 目标检测》—— YOLO v4 详细介绍
人工智能·python·yolo
DisonTangor2 小时前
OPPO开源Diffusion多语言适配器—— MultilingualSD3-adapter 和 ChineseFLUX.1-adapter
人工智能·ai作画·开源·aigc
charles_vaez2 小时前
开源模型应用落地-glm模型小试-glm-4-9b-chat-Gradio集成(三)
深度学习·语言模型·自然语言处理
高登先生4 小时前
汇聚全球前沿科技产品,北京智能科技产业展览会·世亚智博会
大数据·人工智能·科技·数学建模·能源
深度安全实验室4 小时前
AI开发-三方库-torch-torchvision
人工智能
车载诊断技术5 小时前
整车功能架构 --- 智能座舱
网络·人工智能·分布式·架构·汽车·电子电器架构
新加坡内哥谈技术6 小时前
Claude 3.5 Sonnet模型新增了PDF支持功能
人工智能·pdf
AcademicIdeas学境思源7 小时前
从底层技术到实际应用:Claude与ChatGPT谁更适合学术写作?
人工智能
hai405877 小时前
量子机器学习:颠覆性的前沿技术
人工智能·机器学习·量子计算
深度学习实战训练营8 小时前
BERT的新闻标题生成
人工智能·深度学习·bert