勇闯机器学习(第四关-文本特征提取)

以下内容,皆为本人原创,制作不易,首先感谢各位阅读。

|-----------------|------------------------------------------------------------------------------------|
| 第一关:机器学习概念和流程 | http://t.csdnimg.cn/IuHh4 |
| 第二关:数据集的使用 | http://t.csdnimg.cn/2jsdi |
| 第三关:特征工程-字典特征提取 | http://t.csdnimg.cn/ZpMto |

一.文本特征提取

紧接上章节,这章节我们说如何将文本数据转为二维数组。方法如下:

作用:对文本数据进行特征值化

sklearn.feature_extraction.text.CountVectorizer(stop_words=[]) 返回词频矩阵

CountVectorizer.fit_transform(X) X:文本或者包含文本字符串的可迭代对象

返回值:返回sparse矩阵

CountVectorizer.inverse_transform(X) X:array数组或者sparse矩阵

返回值:转换之前数据格

CountVectorizer.get_feature_names() 返回值:单词列表

可能直接列出方法,有点困难,直接看代码和运行结果。

python 复制代码
from sklearn.feature_extraction.text import CountVectorizer

def count_demo():
    # 文本数据
    data = ['life is short, i want to study python',
           'life is long, i dislike c++']
    # 文本特征提取CountVectorizer
    # 实例化一个转换器类
    transfer = CountVectorizer()

    # 调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new\n", data_new)
if __name__ == '__main__':
    count_demo()

我们可以看到这个data转换后的特征值不是特征数组,那我可以加一个toarray()方法。

观察第一个print里面,加了toarray()方法,就可以返回二维数组

python 复制代码
from sklearn.feature_extraction.text import CountVectorizer

def count_demo():
    # 文本数据
    data = ['life is short, i want to study python',
           'life is long, i dislike c++']
    # 文本特征提取CountVectorizer统计每个样本特征词出现的个数
    # 实例化一个转换器类
    transfer = CountVectorizer()

    # 调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new\n", data_new.toarray())
    print("feature_names\n", transfer.get_feature_names_out())
if __name__ == '__main__':
    count_demo()

总结:

可以看到返回的二维数组中,是一些单词,也就是特征值。那里面的0和1是什么意思呢?

**CountVectorizer统计每个样本特征值出现的个数。**我们可以看到二维列表,它里面的元素是一维列表。一维列表里面的元素跟特征值的数量都是一样的,都是9个。这个0和1表示的是对应的。0代表这一组列表里没有这个单词,1则代表有一个。比如说dislike不在我们data的第一句话里,所以返回的二维列表里第一个元素就是0,代表第一句话没有这个词。

二维列表里面的数字,是特征值出现的次数。

二.中文数据特征提取

有了上面的基础,那我们直接看代码和运行结果,变化的地方就是数据变成中文了。

python 复制代码
from sklearn.feature_extraction.text import CountVectorizer

def count_chinese_demo():
    #中文文本数据
    data = ['我喜欢你', '你喜欢我吗']

    # 实例化转换器类
    transfer = CountVectorizer()

    data_new = transfer.fit_transform(data)
    print("data_new\n", data_new)
    print("feature_name\n", transfer.get_feature_names_out())

if __name__ == "__main__":
    count_chinese_demo()
内心感想:
特征值为什么是一句话呢, 像我们之前的英文句子(是由一个个英语单词组成,并且单词之间有空格),所以很轻易的提取。而我们的中文都是在一起的。所以就把整个句子当做特征值了。

将中文句子中间加几个空格就可以了。将数据换成这个。

python 复制代码
    data = ['我 喜欢 你', '你 喜欢 我吗']

OK,这次特征值,就发生了变化。

感谢大家的观看,今天的分享就到这里。

相关推荐
得物技术5 分钟前
RAG—Chunking策略实战|得物技术
数据库·人工智能·算法
超龄超能程序猿9 分钟前
SpringAIalibaba +milvus本地化全链路知识库系统
java·人工智能·spring·milvus
胡耀超11 分钟前
AI应用开发入门,docker部署 Milvus + GPUStack (Attu+MinIO)的基础入门!
人工智能·docker·ai·大模型·milvus·rag·gpustack
rengang6613 分钟前
103-Spring AI Alibaba Milvus RAG 示例
人工智能·spring·milvus·rag·spring ai·ai应用编程
钱彬 (Qian Bin)24 分钟前
项目实践6—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi·证件识别
CodeCraft Studio38 分钟前
前端表格工具AG Grid 34.3 发布:重磅引入AI工具包,全面支持 React 19.2!
前端·人工智能·react.js·angular·ag grid·前端表格工具·透视分析
掘金一周1 小时前
第一台 Andriod XR 设备发布,Jetpack Compose XR 有什么不同?对原生开发有何影响? | 掘金一周 10.30
前端·人工智能·后端
IT_陈寒1 小时前
React性能翻倍!3个90%开发者不知道的Hooks优化技巧 🚀
前端·人工智能·后端
算法打盹中1 小时前
深入解析 Transformer 模型:以 ChatGPT 为例从词嵌入到输出预测的大语言模型核心工作机制
人工智能·深度学习·语言模型·chatgpt·transformer·1024程序员节
Jet45051 小时前
玩转ChatGPT:Kimi OK Computer PPT制作
人工智能·powerpoint·kimi·ok computer