实验3 中文分词

必做题:

  1. 数据准备:academy_titles.txt为"考硕考博"板块的帖子标题,job_titles.txt为"招聘信息"板块的帖子标题,
  2. 使用jieba工具对academy_titles.txt进行分词,接着去除停用词,然后统计词频,最后绘制词云。同样的,也绘制job_titles.txt的词云。
  3. 将jieba替换为pkuseg工具,分别绘制academy_titles.txt和job_titles.txt的词云。要给出每一部分的代码。

效果图

代码

复制代码
import jieba
import re
from wordcloud import WordCloud
from collections import Counter
import matplotlib.pyplot as plt

# 读取academy_titles文件内容
with open('C:\\Users\\hp\\Desktop\\实验3\\academy_titles.txt', 'r', encoding='utf-8') as file:
    academy_titles = file.readlines()

# 读取job_titles文件内容
with open('C:\\Users\\hp\\Desktop\\实验3\\job_titles.txt', 'r', encoding='utf-8') as file:
    job_titles = file.readlines()

# 将招聘信息与学术信息分开
academy_titles = [title.strip() for title in academy_titles]
job_titles = [title.strip() for title in job_titles]

# 分词、去除停用词、统计词频(对academy_titles)
academy_words = []
for title in academy_titles:
    words = jieba.cut(title)
    filtered_words = [word for word in words if re.match(r'^[\u4e00-\u9fa5]+$', word)]
    academy_words.extend(filtered_words)

请自行补全代码,或者这周五晚上更新完整代码

相关推荐
放下华子我只抽RuiKe515 分钟前
深度学习-04-NLP项目实战
人工智能·深度学习·学习·自然语言处理·openclaw·development
roman_日积跬步-终至千里1 小时前
【大语言模型基础(2)】自注意力与多头机制:QKV、缩放与因果掩码
人工智能·语言模型·自然语言处理
放下华子我只抽RuiKe52 小时前
深度学习-03-NLP强化训练
人工智能·深度学习·自然语言处理·开源·集成学习·easyui
bug大湿16 小时前
语音模型流式结构修改要点
深度学习·自然语言处理·语音识别
龙腾AI白云17 小时前
如何利用知识图谱实现推理和计算
人工智能·深度学习·语言模型·自然语言处理·数据分析
Langchain20 小时前
2026 年 AI 最值得关注的方向:上下文工程!
人工智能·python·自然语言处理·llm·agent·大模型开发·rag
ybdesire1 天前
通过训练代码来理解DLLM扩散语言模型
人工智能·语言模型·自然语言处理
WongLeer1 天前
Elasticsearch 从入门到实战(含 IK 分词器 + 完整查询示例)
elasticsearch·中文分词·ik
放下华子我只抽RuiKe51 天前
深度学习 - 01 - NLP自然语言处理基础
前端·人工智能·深度学习·神经网络·自然语言处理·矩阵·easyui
Gideon_k_Marx2 天前
读代码3:OLMo3全详解 - layer2--Data (上)
人工智能·深度学习·机器学习·语言模型·自然语言处理