【Python机器学习】处理文本数据——用字符串表示的数据类型

目录

分类数据

可以在语义上映射为类别的自由字符串

结构化字符串数据

文本数据


之前学习过数据数据属性的两种类型的特征:连续特征和分类特征,前者用于描述数量,后者是固定列表中的元素。

在许多应用中还可以见到第三种类型的特征:文本。文本数据通常被表示为由字符组成的字符串,大部分例子中,文本数据的长度都不相同,这个特征显然与之前学习过的数值特征有很大不同,我们需要先处理数据,然后才能对其使用机器学习算法。

文本通常只是数据集中的字符串,但并非所有的字符串特征都应该被当作文本来处理,字符串变量有时可以表示分类变量。在查看数据之前,我们无法知道如何处理一个字符串特征。

一般情况下,会遇到一下四种类型的字符串数据:

1、分类数据;

2、可以在语义上映射为类别的自由字符串;

3、结构化字符串数据;

4、文本数据。

下面分别来解释:

分类数据

分类数据是来自固定列表的数据。比如通过调查人们最喜欢的颜色来收集数据,你向他们提供了一个下拉菜单,可以从红色、黑色、绿色等颜色中选择。这样就会得到一个包含多种不同取值的数据集,这几种不同取值表示的显然是分类变量。我们可以通过观察来判断数据是不是分类数据,并通过计算数据集中的唯一值并绘制其出现次数的直方图来验证判断结果。

可以在语义上映射为类别的自由字符串

仍是收集最喜欢颜色的例子,如果现在提供的不是下拉菜单,而是一个文本框,每个人都自己填写,这种情况下,有些人会常规填写,但有些人会拼写错误、或使用更加形象的描述词(比如"午夜蓝色"),甚至会有些奇怪的答案,有时很难将一些名称与颜色自动对应(甚至完全无法对应)。这种从文本框得到的回答就属于可以在语义上映射为类别的自由字符串。可能最好是将这种数据编码为分类变量,可以利用最常见的条目来选择类别,也可以自定义类别,使用户回答对应用有意义。这样就会得到一些标准颜色类别、"多色"类别、其他类别。这种字符串预处理过程可能会需要大量人力,并且不容易自动化。如果能够改变数据的收集方式,那么对于分类变量能够更好表示的改变,不要使用手动输入值。

结构化字符串数据

通常来说,手动输入值不与固定的类别对应,但仍有一些内在的结构,比如地址、人名地名、日期或其他标识符。这种类型的字符串通常难以解析,其处理方法也强烈依赖于上下文和具体领域。

文本数据

自动格式的文本数据 ,由短语或句子组成。例子包括推文、聊天记录、评论等。所有这些集合包含的信息大多数是由单词组成的句子。在文本分析的语境中,数据集通常被称为语料库 ,每个由单个文本表示的数据点被称为文档。这些属于来自于信息检索和自然语言处理的社区,它们主要针对文本数据。

相关推荐
对你无可奈何9 分钟前
把零散的模型用起来:Magpie 接入 Trae,再折腾两个池子
人工智能
玄昌盛不会编程21 分钟前
LeetCode——2243. 计算字符串的数字和
java·算法·leetcode
七夜zippoe24 分钟前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
2601_9679873724 分钟前
Python 实现行为驱动开发 (BDD) 自动化测试详解
自动化测试·python·bdd·behave·gherkin
AI导出鸭PC端28 分钟前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭
Evand J41 分钟前
【MATLAB例程】基于IMM-CKF的AOA+测距融合的二维移动目标跟踪定位
开发语言·matlab·目标跟踪
AI导出鸭PC端44 分钟前
用 AI 导出鸭高效处理:豆包导 pdf 怎么压缩但清晰
android·人工智能·pdf·豆包·ai导出鸭
装不满的克莱因瓶1 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
数字融合1 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
JianZhen✓2 小时前
IM 聊天列表为什么总“消息乱跳“:有序插入、时间轴派生、本地截断、已读回执
开发语言·前端·php