BERT情感分类

参考B站BigC_666微调BERT模型做情感分类实战,代码逐行讲解,100%可以跑通!!! 一键三连+关注,私信即可获得代码_哔哩哔哩_bilibili

大致记录下出现了哪些问题

首先第一个问题是,huggingface.co无法访问,通过修改环境变量让目标地址改到镜像地址也没起作用,最终解决方案是挂代理下载了

复制代码
import os
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:7890'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:7890'

后面就是jupyter代码了,修改了评估的部分

python 复制代码
from datasets import load_dataset

import os

import os
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:7890'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:7890'


os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
dataset = load_dataset("imdb")
print(dataset)

import datasets
print(datasets.config.HF_DATASETS_CACHE)

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
print("done")
def tokenizer_func(examples):
    return tokenizer(examples['text'],padding='max_length',truncation=True)
tokens_dataset = dataset.map(tokenizer_func,batched=True)
print(tokens_dataset)
print(tokens_dataset['train'][0])
train_dataset = tokens_dataset['train'].select(range(5000))
test_dataset = tokens_dataset['test'].shuffle(42).select(range(5000))
print(test_dataset['label'])

from transformers import BertForSequenceClassification

classifier = BertForSequenceClassification.from_pretrained('bert-base-uncased')

from transformers import Trainer,TrainingArguments

train_arg = TrainingArguments(
    output_dir='./result',
#    eval_strategy='epoch',
    learning_rate=2e-5,
    per_device_train_batch_size=1,
    per_device_eval_batch_size=1,
    num_train_epochs=1,
    weight_decay=0.02
)
print('done')

print('start')
trainer = Trainer(
    model = classifier,
    args = train_arg,
    train_dataset = train_dataset,
    eval_dataset = test_dataset
)
print('done')

predictions = trainer.predict(test_dataset)

import numpy as np
print('start')
# 模型输出的预测 logits(二维数组)
logits = predictions.predictions  # shape: (num_samples, num_classes)
labels = predictions.label_ids    # shape: (num_samples,)

# 步骤1:将 logits 转换为预测标签(取最大值所在的索引)
predicted_labels = np.argmax(logits, axis=1)

# 步骤2:计算准确率
accuracy = np.mean(predicted_labels == labels)

print(f"Accuracy: {accuracy:.4f}")


trainer.train()

# metric = trainer.evaluate()
print(test_dataset['label'])

predictions = trainer.predict(test_dataset)

print(metric)

print(predictions)

from transformers import Trainer
from sklearn.metrics import accuracy_score
import numpy as np

# 1. 定义 compute_metrics
def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    preds = np.argmax(predictions, axis=1)
    return {"accuracy": accuracy_score(labels, preds)}

# 2. 重新构造 Trainer(用原来的模型和训练参数)
new_trainer = Trainer(
    model=classifier,  # 你之前训练好的模型
    args=train_arg,   # 你原来使用的 TrainingArguments
    compute_metrics=compute_metrics
)

# 3. 调用 predict
results = new_trainer.predict(test_dataset)

print("准确率:", results.metrics["test_accuracy"])

代码比较混乱,可读性比较差,实验性质,各种参数没有详细的考量

相关推荐
荔枝吻17 分钟前
【AI总结】Git vs GitHub vs GitLab:深度解析三者联系与核心区别
人工智能·git·github
Jamie2019010633 分钟前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
云卓SKYDROID1 小时前
无人机载重模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技
云卓SKYDROID1 小时前
无人机RTK技术要点与难点分析
人工智能·无人机·科普·高科技·云卓科技
麻雀无能为力2 小时前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人2 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
埃菲尔铁塔_CV算法2 小时前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
ζั͡山 ั͡有扶苏 ั͡✾2 小时前
AI辅助编程工具对比分析:Cursor、Copilot及其他主流选择
人工智能·copilot·cursor
东临碣石822 小时前
【AI论文】数学推理能否提升大型语言模型(LLM)的通用能力?——探究大型语言模型推理能力的可迁移性
人工智能·语言模型·自然语言处理
未来智慧谷3 小时前
微软医疗AI诊断系统发布 多智能体协作实现疑难病例分析
人工智能·microsoft·医疗ai