python机器学习8--自然语言处理(2)

1.移除用词

在很多情况下,有一些文章内的英文字符、标点符号分词的结果不符合自己的预期,会出现一些不想要的分词,此时就能通过以下的函数自己设定用词,并且删除。

jieba.analyse.set_stop_words("stop_words.txt")

2.自定比重分数

因为jieba对每一个字会给出IDF分数比重,但是在很多时候,会希望把文章中特别的关键字突显出来(或者降低),可以设定IDF分数高一些(或低一些),就能将想要的字突显出来(或者降低)。

 jieba.analyse.set_idf_path("idf.txt")         #读入IDF关键字比重分数

一个demo

import sys
from os import path
import jieba
import jieba.analyse
d=path.dirname(__file__)
jieba.load_userdict(path.join(d,r"C:\Users\nsy\Desktop\userdict.txt.txt"))
text="今天学习好烦躁,还没有效率"
content =text
extracted_tags=jieba.analyse.extract_tags(content,topK=10,withWeight=False)
print(" ,".join(extracted_tags))
jieba.analyse.set_stop_words(path.join(d, r"C:\Users\nsy\Desktop\stop_words.txt.txt"))
weighted_tags=jieba.analyse.extract_tags(content,topK=10,withWeight=True,allowPOS=('ns','n','vn','v'))
for item in weighted_tags:
    keyword,weight=item
    print(f"关键词:{keyword},权重:{weight}")

3. 排列出最常出现的分词( 次数的统计)

python 复制代码
import sys
from os import path
import jieba
import jieba.analyse

d = path.dirname(__file__)

# 根据Python版本打开文件
if sys.version_info > (3, 0):
    text = open(path.join(d, r"C:\\Users\\nsy\\Desktop\\test.txt"), 'r', encoding='utf-8').read()
else:
    text = open(path.join(d, r"C:\\Users\\nsy\\Desktop\\test.txt"), 'r').read()

text = text.replace('\n', '')

# 设置停用词文件路径,注意文件名是否正确
jieba.analyse.set_stop_words(r"C:\Users\nsy\Desktop\stop_words.txt.txt")
# 输出分词结果
print(" ".join(jieba.cut(text)))

# 打印分隔线
print("-" * 10)

# 使用自定义词典
jieba.load_userdict(path.join(d, r"C:\Users\nsy\Desktop\userdict.txt.txt"))

# 初始化字典存储词频
dic = {}

for ele in jieba.cut(text):
    if ele not in dic:
        dic[ele] = 1
    else:
        dic[ele] += 1

# 按词频排序并输出
for w in sorted(dic, key=dic.get, reverse=True):
    print("%s %d" % (w, dic[w]))

4.通过jieba来分析和计算网站文章所探讨的主要内容

python 复制代码
import sys
import jieba
import jieba.analyse
import urllib.request as httplib

# 网络请求异常处理
try:
    # 网络文章的网址
    url = "https://csdnnews.blog.csdn.net/article/details/140678511?spm=1000.2115.3001.5928"
    # 送出连接的需求
    req = httplib.Request(url)
    # 打开网页
    response = httplib.urlopen(req)
    # 连接网页正常(200)
    if response.status == 200:
        # 如果是 Python 3.0 以上
        if sys.version_info > (3, 0):
            # 取得网页的数据并解码
            contents = response.read().decode(response.headers.get_content_charset())
        else:
            # 考虑到 Python 2 不再使用,这里可以省略对应的处理逻辑
            raise Exception("Python 2 is not supported")
except Exception as e:
    print("Error during HTTP request:", e)
    contents = ""

# 去除不要的文字
jieba.analyse.set_stop_words("C:\\Users\\nsy\\Desktop\\stop_words.txt.txt")

# 仅捕获地名、名词、动名词、动词
keywords = jieba.analyse.extract_tags(contents, topK=5, withWeight=True, allowPOS=('ns', 'n', 'vn'))

# 输出关键词和相应的权重
for item in keywords:
    print("%s=%f" % (item[0], item[1]))

print("*" * 40)

# 数据结构字典 key:value
dic = {}

# 做分词动作
words = jieba.cut(contents)

# 仅处理名词、动名词
for word in words:
    if word not in dic:
        dic[word] = 1  # 记录为1
    else:
        dic[word] += 1  # 累加1

# 由大到小排列并打印
for w in sorted(dic.items(), key=lambda x: x[1], reverse=True):
    print("%s: %d" % w)

# 异常处理应该针对具体的操作,而不是放在代码的最后
相关推荐
Tianyanxiao39 分钟前
如何利用探商宝精准营销,抓住行业机遇——以AI技术与大数据推动企业信息精准筛选
大数据·人工智能·科技·数据分析·深度优先·零售
撞南墙者1 小时前
OpenCV自学系列(1)——简介和GUI特征操作
人工智能·opencv·计算机视觉
OCR_wintone4211 小时前
易泊车牌识别相机,助力智慧工地建设
人工智能·数码相机·ocr
王哈哈^_^1 小时前
【数据集】【YOLO】【VOC】目标检测数据集,查找数据集,yolo目标检测算法详细实战训练步骤!
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
一者仁心1 小时前
【AI技术】PaddleSpeech
人工智能
是瑶瑶子啦1 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换
EasyCVR1 小时前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台(ISUP)接入EasyCVR不在线如何排查?
运维·服务器·网络·人工智能·ffmpeg·音视频
柳鲲鹏2 小时前
OpenCV视频防抖源码及编译脚本
人工智能·opencv·计算机视觉
西柚小萌新2 小时前
8.机器学习--决策树
人工智能·决策树·机器学习
向阳12182 小时前
Bert快速入门
人工智能·python·自然语言处理·bert