利用大模型MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7实现零样本分类

概念

1、零样本分类:在没有样本标签的情况下对文本进行分类。

2、nli:(Natural Language Inference),自然语言推理

3、xnli:(Cross-Lingual Natural Language Inference) ,是一种数据集,支持15种语言,数据集包含10个领域,每个领域包含750条样本,10个领域共计7500条人工标注的英文测试样本,组成了112500对英文--其他语种的标注对。每条数据样本,由两个句子组成,分别是前提和假设,前提和假设之间的关系,有entailment(蕴含)、contradiction(矛盾)、neutral(中立)三类。

模型

1、手动下载MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7到本地,url:MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7 at main

2、Git下载:

bash 复制代码
git lfs install
git clone https://huggingface.co/MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7

代码:

保存为m.py文件

python 复制代码
import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModelForSequenceClassification
from transformers import pipeline
model_name = "mDeBERTa-v3-base-xnli-multilingual-nli-2mil7"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
classifier = pipeline("text-classification", model=model, tokenizer=tokenizer)
for aspect in ['camera', 'phone']:
   print(aspect, classifier('The camera quality of this phone is amazing.',  text_pair=aspect))

输出:

bash 复制代码
[ipa@comm-agi-p]$ python m.py
camera [{'label': 'entailment', 'score': 0.9938687682151794}]
phone [{'label': 'entailment', 'score': 0.9425390362739563}]
相关推荐
WJSKad12352 小时前
工业零件识别与分类:基于lad_r50-paa-r101_fpn_2xb8_coco_1x模型实现
人工智能·分类·数据挖掘
qwerasda1238523 小时前
YOLOv10n-LSKNet窗户状态检测与分类
yolo·分类·数据挖掘
laplace01233 小时前
claude code架构猜测总结
架构·大模型·llm·agent·rag
xueyongfu5 小时前
Offline RLHF-DPO/KTO/ORPO/SPO等偏好学习方法
大模型·dpo·偏好学习·offline rlhf
格林威6 小时前
基于轮廓特征的工件分类识别:实现无模板快速分拣的 8 个核心算法,附 OpenCV+Halcon 实战代码!
人工智能·数码相机·opencv·算法·目标跟踪·分类·数据挖掘
KG_LLM图谱增强大模型7 小时前
知识图谱+大模型“驱动的生物制药企业下一代主数据管理:Neo4j知识图谱与GraphRAG及GenAI的深度整合
人工智能·大模型·知识图谱
qwerasda1238528 小时前
【深度学习】如何使用YOLO11-RevCol模型进行伤口类型识别与分类 擦伤、瘀伤、烧伤、切割伤以及正常状态检测_2
人工智能·深度学习·分类
JicasdC123asd10 小时前
基于YOLOv10n-RepHMS的蠕虫识别与分类系统实现详解_1
yolo·分类·数据挖掘
AAD5558889910 小时前
金属丝缺陷检测与分类系统实战-基于reppoints的改进模型训练与优化_1
人工智能·分类·数据挖掘
韦东东10 小时前
27s→1.3s:“小模型 + 知识库”的工业隐患识别技术复盘(全链路)
大模型·知识库·工业隐患