使用python进行自然语言处理的示例

程序功能

分词:将输入句子拆分为单词。

词性标注:为每个单词标注其词性。

命名实体识别:识别命名实体(如人名、地名、组织等)。

这段代码展示了如何用 nltk 进行基础的 NLP 任务,包括分词、词性标注和命名实体识别。

代码

python 复制代码
import nltk
from nltk.tokenize import word_tokenize
from nltk.tag import pos_tag
from nltk.chunk import ne_chunk

# 下载nltk需要的资源
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('maxent_ne_chunker')
nltk.download('words')

# 输入的示例句子
sentence = "Sun Wukong, the Monkey King, traveled from China to India with Tang Sanzang."

# 1. 分词
tokens = word_tokenize(sentence)
print("分词结果:", tokens)

# 2. 词性标注
tagged = pos_tag(tokens)
print("词性标注结果:", tagged)

# 3. 命名实体识别
entities = ne_chunk(tagged)
print("命名实体识别结果:")
print(entities)
相关推荐
小oo呆1 小时前
【自然语言处理与大模型】模型压缩技术之量化
人工智能·自然语言处理
Magnum Lehar1 小时前
ApophisZerg游戏引擎项目目录展示
人工智能·vscode·编辑器·游戏引擎
飞桨PaddlePaddle1 小时前
Wan2.1和HunyuanVideo文生视频模型算法解析与功能体验丨前沿多模态模型开发与应用实战第六期
人工智能·算法·百度·音视频·paddlepaddle·飞桨·deepseek
绿算技术2 小时前
存储新势力:助力DeepSeek一体机
人工智能·科技·缓存·fpga开发
Y1nhl2 小时前
搜广推校招面经八十一
开发语言·人工智能·pytorch·深度学习·机器学习·推荐算法·搜索算法
胡攀峰2 小时前
第12章 微调生成模型
人工智能·大模型·llm·sft·强化学习·rlhf·指令微调
yuanlaile2 小时前
AI大模型自然语言处理能力案例演示
人工智能·ai·自然语言处理
小白白搭建2 小时前
WordPress AI 原创文章自动生成插件 24小时全自动生成SEO原创文章 | 多语言支持 | 智能配图与排版
人工智能
Jamence2 小时前
多模态大语言模型arxiv论文略读(三十九)
人工智能·语言模型·自然语言处理
ai大模型木子3 小时前
嵌入模型(Embedding Models)原理详解:从Word2Vec到BERT的技术演进
人工智能·自然语言处理·bert·embedding·word2vec·ai大模型·大模型资料