BERT:基于TensorFlow的BERT模型搭建中文问答系统模型

目录

    • 1、导入所需库
    • 2、准备数据集
    • 3、对问题和答案进行分词
    • 4、构建模型
    • 5、编译模型
    • 6、训练模型
    • 7、评估模型
    • 8、使用模型进行预测

1、导入所需库

python 复制代码
#导入numpy库,用于进行数值计算
import numpy as np

#从Keras库中导入Tokenizer类,用于将文本转换为序列
from keras.preprocessing.text import Tokenizer
 
#从Keras库中导入pad_sequences函数,用于对序列进行填充或截断
from keras.preprocessing.sequence import pad_sequences

#从Keras库中导入Model类,用于构建神经网络模型
from keras.models import Model  

#从Keras库中导入Input、Dense、LSTM和Dropout类,用于构建神经网络层
from keras.layers import Input, Dense, LSTM, Dropout

#从transformers库中导入TFBertModel和BertTokenizer类,用于使用BERT模型和分词器 
from transformers import TFBertModel, BertTokenizer

2、准备数据集

python 复制代码
#这里使用一个简单的示例数据集,定义问题和答案的列表。在实际应用中需要根据实际问题调整数据格式
questions = ['你好吗?', '你叫什么名字?', '你喜欢什么运动?']
answers = ['我很好!', '我叫小明。', '我喜欢打篮球。']

3、对问题和答案进行分词

python 复制代码
#从预训练模型中加载BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

#使用tokenizer对问题列表进行分词处理,并返回input_ids
question_input_ids = tokenizer(questions, return_tensors='tf', padding=True, truncation=True)['input_ids']

#使用tokenizer对答案列表进行分词处理,并返回input_ids
answer_input_ids = tokenizer(answers, return_tensors='tf', padding=True, truncation=True)['input_ids']

4、构建模型

python 复制代码
#导入预训练的BERT模型,使用中文基础版本
bert_model = TFBertModel.from_pretrained('bert-base-chinese')

#定义输入层,形状为(None,),数据类型为int32
input_layer = Input(shape=(None,), dtype='int32')

#将输入层传递给BERT模型,获取输出结果的第一个元素(即[0])
bert_output = bert_model(input_layer)[0]

#在BERT输出上添加一个LSTM层,隐藏单元数为100
lstm_layer = LSTM(100)(bert_output)

#在LSTM层上添加一个Dropout层,丢弃率为0.5
dropout_layer = Dropout(0.5)(lstm_layer)

#在Dropout层上添加一个全连接层,输出单元数为answer_input_ids集合的长度,激活函数为softmax
output_layer = Dense(len(set(answer_input_ids)), activation='softmax')(dropout_layer)

#构建模型,输入层为input_layer,输出层为output_layer
model = Model(inputs=input_layer, outputs=output_layer)

5、编译模型

python 复制代码
#设置损失函数为分类交叉熵,优化器为Adam,评估指标为准确率
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

6、训练模型

python 复制代码
#使用模型的fit方法进行训练,传入问题输入ID、答案输入ID、批量大小和训练轮数
model.fit(question_input_ids, answer_input_ids, batch_size=32, epochs=10)

7、评估模型

python 复制代码
score = model.evaluate(question_input_ids, answer_input_ids)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

8、使用模型进行预测

python 复制代码
def predict(question):
    #使用tokenizer对输入的问题进行编码,返回一个字典,其中包含'input_ids'键对应的值
    question_input_id = tokenizer(question, return_tensors='tf', padding=True, truncation=True)['input_ids']
    #使用模型对编码后的问题进行预测,得到预测结果
    prediction = model.predict(question_input_id)
    #返回预测结果中概率最大的索引
    return np.argmax(prediction)
    
question = '你喜欢吃什么?'
#调用predict函数,传入问题字符串,得到预测的答案索引
answer_index = predict(question)
#使用tokenizer将答案索引解码为文本形式
predicted_answer = tokenizer.decode([answer_index])
#打印预测的答案
print('Predicted answer:', predicted_answer)
相关推荐
聚客AI1 小时前
🌟大模型为什么产生幻觉?预训练到推理的漏洞全揭秘
人工智能·llm·掘金·日新计划
Juchecar1 小时前
一文讲清 nn.Sequential 等容器类
人工智能
阿里云云原生2 小时前
如何快速看懂「祖传项目」?Qoder 强势推出新利器
人工智能
美团技术团队2 小时前
LongCat-Flash:如何使用 SGLang 部署美团 Agentic 模型
人工智能·算法
程序员小袁3 小时前
基于C-MTEB/CMedQAv2-rerankingv的Qwen3-1.7b模型微调-demo
人工智能
飞哥数智坊4 小时前
AI 编程一年多,我终于明白:比技巧更重要的,是熟练度
人工智能·ai编程
新智元5 小时前
收手吧 GPT-5-Codex,外面全是 AI 编程智能体!
人工智能·openai
IT_陈寒5 小时前
Java 性能优化:5个被低估的JVM参数让你的应用吞吐量提升50%
前端·人工智能·后端
阿里云云原生5 小时前
阿里云基础设施 AI Tech Day AI 原生,智构未来——AI 原生架构与企业实践专场
人工智能
Memene摸鱼日报6 小时前
「Memene 摸鱼日报 2025.9.16」OpenAI 推出 GPT-5-Codex 编程模型,xAI 发布 Grok 4 Fast
人工智能·aigc