pytorch实现文本摘要

人工智能例子汇总:AI常见的算法和例子-CSDN博客

复制代码
import numpy as np

from modelscope.hub.snapshot_download import snapshot_download
from transformers import BertTokenizer, BertModel
import torch

# 下载模型到本地目录
model_dir = snapshot_download('tiansz/bert-base-chinese', cache_dir='./bert-base-chinese')
print(f"模型已下载到: {model_dir}")

# 本地模型路径
model_path = model_dir  # 使用下载的模型路径

# 从本地加载分词器和模型
tokenizer = BertTokenizer.from_pretrained(model_path)
model = BertModel.from_pretrained(model_path)


def get_sentence_embeddings(text):
    """
    获取输入文本的句子级别嵌入(BERT模型的输出)用于摘要任务
    """
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)
    with torch.no_grad():
        outputs = model(**inputs)
    # 获取最后一层的[CLS] token的嵌入向量作为句子的表示
    return outputs.pooler_output.detach().numpy()


def summarize(text, num_sentences=3):
    """
    使用抽取式摘要从输入文本中提取最重要的句子
    """
    sentences = text.split("。")  # 以句号分割句子
    sentence_embeddings = []

    for sentence in sentences:
        embedding = get_sentence_embeddings(sentence)
        sentence_embeddings.append(embedding)

    # 使用句子得分来排序
    sentence_scores = np.array([embedding[0][0] for embedding in sentence_embeddings])
    ranked_sentences = [sentences[i] for i in sentence_scores.argsort()[-num_sentences:][::-1]]

    # 返回排名靠前的句子
    return "。".join(ranked_sentences)


# 示例中文文本
text = """
机器学习(Machine Learning,简称 ML)是人工智能(AI)领域的一个分支,重点研究开发能够使计算机在没有明确编程指令的情况下进行任务的算法和统计模型。机器学习通过从数据中学习,识别模式,并根据少量人为干预做出决策。 
近年来,深度学习(Deep Learning)作为机器学习的一个子集,取得了显著的进展,尤其是在计算机视觉、自然语言处理和语音识别等领域。 
深度学习技术使用多层神经网络结构,能够通过处理大量的数据来自动提取特征,从而提高机器学习的性能。 
目前,人工智能已经在多个行业中得到广泛应用,包括医疗健康、金融、自动驾驶等领域。
"""

# 获取摘要
summary = summarize(text)
print("原文:\n", text)
print("\n摘要:\n", summary)

~困了🥱,通宵写了一个晚上

结果:

复制代码
Downloading Model to directory: ./bert-base-chinese/tiansz/bert-base-chinese
模型已下载到: ./bert-base-chinese/tiansz/bert-base-chinese
Asking to truncate to max_length but no maximum length is provided and the model has no predefined maximum length. Default to no truncation.
原文:
 
机器学习(Machine Learning,简称 ML)是人工智能(AI)领域的一个分支,重点研究开发能够使计算机在没有明确编程指令的情况下进行任务的算法和统计模型。机器学习通过从数据中学习,识别模式,并根据少量人为干预做出决策。 
近年来,深度学习(Deep Learning)作为机器学习的一个子集,取得了显著的进展,尤其是在计算机视觉、自然语言处理和语音识别等领域。 
深度学习技术使用多层神经网络结构,能够通过处理大量的数据来自动提取特征,从而提高机器学习的性能。 
目前,人工智能已经在多个行业中得到广泛应用,包括医疗健康、金融、自动驾驶等领域。


摘要:
  
目前,人工智能已经在多个行业中得到广泛应用,包括医疗健康、金融、自动驾驶等领域。机器学习通过从数据中学习,识别模式,并根据少量人为干预做出决策。 
深度学习技术使用多层神经网络结构,能够通过处理大量的数据来自动提取特征,从而提高机器学习的性能
相关推荐
胡耀超24 分钟前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
开-悟28 分钟前
嵌入式编程-使用AI查找BUG的启发
c语言·人工智能·嵌入式硬件·bug
Ailerx29 分钟前
YOLOv13震撼发布:超图增强引领目标检测新纪元
人工智能·yolo·目标检测
大咖分享课1 小时前
开源模型与商用模型协同开发机制设计
人工智能·开源·ai模型
博观而约取1 小时前
Django 数据迁移全解析:makemigrations & migrate 常见错误与解决方案
后端·python·django
你不知道我是谁?1 小时前
AI 应用于进攻性安全
人工智能·安全
reddingtons1 小时前
Adobe高阶技巧与设计师创意思维的进阶指南
人工智能·adobe·illustrator·设计师·photoshop·创意设计·aftereffects
机器之心1 小时前
刚刚,Grok4跑分曝光:「人类最后考试」拿下45%,是Gemini 2.5两倍,但网友不信
人工智能
熊猫钓鱼>_>2 小时前
用Python解锁图像处理之力:从基础到智能应用的深度探索
开发语言·图像处理·python
蛋仔聊测试2 小时前
Playwright 中特定的 Fixtures
python