使用python进行自然语言处理的示例

程序功能

分词:将输入句子拆分为单词。

词性标注:为每个单词标注其词性。

命名实体识别:识别命名实体(如人名、地名、组织等)。

这段代码展示了如何用 nltk 进行基础的 NLP 任务,包括分词、词性标注和命名实体识别。

代码

python 复制代码
import nltk
from nltk.tokenize import word_tokenize
from nltk.tag import pos_tag
from nltk.chunk import ne_chunk

# 下载nltk需要的资源
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('maxent_ne_chunker')
nltk.download('words')

# 输入的示例句子
sentence = "Sun Wukong, the Monkey King, traveled from China to India with Tang Sanzang."

# 1. 分词
tokens = word_tokenize(sentence)
print("分词结果:", tokens)

# 2. 词性标注
tagged = pos_tag(tokens)
print("词性标注结果:", tagged)

# 3. 命名实体识别
entities = ne_chunk(tagged)
print("命名实体识别结果:")
print(entities)
相关推荐
吴名氏.10 分钟前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
东坡肘子24 分钟前
把「更好」放在「更快」之前 -- 肘子的 Swift 周报 #162
人工智能·swiftui·swift
Csvn11 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考11 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考11 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库12 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静12 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康13 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea13 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen13 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能