# BERT在中文文本分类中的实战优化：从模型微调到部署全流程在自然语言处理（NL

BERT在中文文ain_texts = df $'content'$ .tolist()

train_labels = df $'label'$ .tolist()

使用 tokenizer 进行分词和编码

from transformers import AutoTokenizer

model_name = "bert-base-chinese"

tokenizer = AutoTokenizer.from_pretrained(model_name)

def tokenize_function(examples):

return tokenizer(examples $"text"$ , truncation=True, padding=True, max_length=128)

构建 Dataset 对象

from datasets import Dataset

dataset = Dataset.from_dict({"text": train_texts, "label": train_labels})

tokenized_dataset = dataset.map(tokenize_function, batched=True)

复制代码

> ⚠️ 注意：这里我们直接对每条样本应用 `max_length=128`，避免过长序列导致显存溢出。
---

## 二、模型微调策略详解

我们采用 **AdamW 优化器 + 学习率调度 + 梯度裁剪** 组合提升收敛稳定性：

```python
from transformers import AutoModelForSequenceClassification, TrainingArguments, Trainer

model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
        num_labels=3  # 三类新闻
        )
training_args = TrainingArguments(
    output_dir="./results",
        num_train_epochs=5,
            per_device_train_batch_size=16,
                per_device_eval_batch_size=16,
                    warmup_steps=500,
                        weight_decay=0.01,
                            logging_dir="./logs",
                                logging_steps=100,
                                    evaluation_strategy="epoch",
                                        save_strategy="epoch",
                                            load_best_model_at_end=True,
                                            )
trainer = Trainer(
    model=model,
        args=training_args,
            train_dataset=tokenized_dataset,
                eval_dataset=tokenized_dataset,
                )
trainer.train()

✅ 关键点说明：

warmup_steps=500：前500步逐步提升学习率，防止初始震荡；
- weight_decay=0.01：正则化防止过拟合；
- save_best_model_at_end=True：自动保存最优 checkpoint。

三、推理阶段代码实现（可直接用于API服务）

微调完成后，保存模型供后续推理使用：

python 复制代码

model.save_pretrained("./fine_tuned_bert_news")
tokenizer.save_pretrained("./fine_tuned_bert_news")

# 推理函数封装
def predict(text: str):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=128)
        with torch.no_grad():
                outputs = model(**inputs)
                        logits = outputs.logits
                                predicted_class_id = torch.argmax(logits, dim=-1).item()
                                    
                                        class_names = ["体育", "科技", "财经"]
                                            return class_names[predicted_class_id]
# 示例调用
print(predict("中国航天发射成功！"))
# 输出：体育

四、性能对比分析（训练日志片段）

Epoch	Loss (Train)	Acc (Val)
1	1.42	0.72
3	0.98	0.85
5	0.61	0.91

随着训练轮次增加，准确率稳步上升，证明 BERT 在小样本中文分类中具有强大泛化能力。

📊 流程图示意：训练 → 评估 → 部署

复制代码

[原始数据] 
   ↓
   [Tokenization + Padding]
      ↓
      [BERT 微调 + AdamW]
         ↓
         [Evaluation Metrics]
            ↓
            [Save Model + Load for Inference]
               ↓
               [部署至 FastAPI / Flask API]
               ```
---

## 五、生产环境部署建议（FastAPI 示例）

```python
from fastapi import FastAPI, HTTPException
import uvicorn

app = FastAPI()

@app.post("/predict/")
async def classify_text(data: dict):
    text = data.get("text")
        if not text:
                raise HTTPException(status_code=400, detail="Missing 'text' field")
                    
                        result = predict(text)
                            return {"prediction": result}
if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)
    ```
启动命令：

```bash
uvicorn main:app --reload

访问接口示例：

bash 复制代码

curl -X POST http://localhost:8000/predict/ \
-H "Content-Type: application/json" \
-d '{"text":"苹果发布新款iPhone"}'

返回结果：

json 复制代码

{"prediction": "科技"}

六、进阶技巧：动态输入长度 & 多卡训练

如果你的数据长度波动较大，可以使用动态 padding：