NLP--词袋模型

词袋模型如同所有单词打散放到一个袋子中,因此这种模型无法估计语义和语序问题,每个单词都是独立的。

1.文本分词:调用jieba库,使用精确模式对每个句子进行分词,并存入列表。

2.去除停用词:遍历停用词文件的每一行,删除字符串头和尾的空白字符(包括\n,\r,\t等),加到停用词集合里。然后遍历分词后列表的每一行,再遍历每一行的每一个单词,如果该单词不在停用词集合里,就把该单词放入新的行列表中,最后将所有行列表存入文本列表中。

3.建立文本词典:去除停用词,建立总词典,使用set函数将重复的词去掉并转化为列表。

4.建立词袋模型:for语句建立词袋模型,只包含0和1。

5.词袋模型局限性:维度灾难,向量中大量元素为0,没有考虑词与词之间的顺序和结构信息,存在语义鸿沟的问题。

相关推荐
长夜多忧思3 分钟前
机器学习_批量梯度下降法(BGD)
机器学习·批量梯度下降法
阿洛学长8 分钟前
Cursor下载安装使用教程(最新详细图文)
人工智能·gpt·深度学习·ai·ai编程
renhongxia113 分钟前
原生多模态对应用架构的重塑
人工智能·深度学习·机器学习·自然语言处理·架构·机器人
金融小师妹22 分钟前
人工智能推演框架:非农降温信号如何重构黄金定价模型
数据结构·人工智能·机器学习·transformer
AI人工智能+33 分钟前
融合计算机视觉与自然语言处理的驾驶证识别技术,实现了从非结构化图像到结构化数据的高效转化,成为智慧交通数字化转型的关键支撑
计算机视觉·自然语言处理·ocr·驾驶证识别
Turbo正则36 分钟前
群论学习入门 | 群论与李群的基本概念
人工智能·学习·算法·抽象代数
毛丫讲绘本43 分钟前
0-3岁选绘本需要做到越早启蒙越要简单
人工智能·学习·微信·微信公众平台·微信开放平台
小c君tt1 小时前
linux学习笔记1
linux·笔记·学习
程序喵大人1 小时前
【AI专栏】图解Transformer - 第01章:建立直觉
人工智能·深度学习·ai·transformer