文本的数据分析

为了更好的去理解预料信息,我们需要去进行文本的数据分析。

一.标签数量分布

python 复制代码
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

plt.style.use('fivethirtyeight')

train_data = pd.read_csv("cn_data/train.tsv",sep='\t')
test_data = pd.read_csv("cn_data/dev.tsv",sep='\t')

sns.countplot(x='label',data=train_data)
plt.title('Distribution of Sentiments in Training Data')
plt.show()


sns.countplot(x='label',data=test_data)
plt.title('Distribution of Sentiments in Test Data')
plt.show()

二.句子长度分析

往往会通过分析句子的长度构成,来选择句子截断/补齐的长度

python 复制代码
#增加一列,记录该文本的长度
train_data["sentence_length"] = list(map(lambda x: len(x),train_data["sentence"]))


sns.countplot(x='sentence_length',data=train_data)
plt.title('Distribution of Sentence Lengths in Training Data')
plt.xticks([])
plt.show()

sns.distplot(train_data["sentence_length"])
plt.yticks([])
plt.title('Distribution of Sentence Lengths in Training Data')
plt.show()

test_data["sentence_length"] = list(map(lambda x: len(x),test_data["sentence"]))

sns.countplot(x='sentence_length',data=test_data)
plt.title('Distribution of Sentence Lengths in Test Data')
plt.xticks([])
plt.show()

sns.distplot(test_data["sentence_length"])
plt.yticks([])
plt.title('Distribution of Sentence Lengths in Test Data')
plt.show()

三. 正负样本的散点分布

python 复制代码
#绘制散点图
sns.stripplot(y='sentence_length',x='label',data=train_data)
plt.show()

sns.stripplot(y='sentence_length',x='label',data=test_data)
plt.show()

通过查看散点图,发现异常点的存在,进一步人工进行审查。

四.不同词汇统计

python 复制代码
#获取训练集和验证机不同词汇总数统计
import jieba
from itertools import chain

#rain_vocab = set(chain(*map(lambda x: jieba.lcut(x),train_data["sentence"])))
token_lists = map(lambda x: jieba.lcut(x), train_data["sentence"])  #分词
flat_tokens = chain(*token_lists)  #展平为1维数组
train_vocab = set(flat_tokens) #去掉重复词
print("训练集不同词汇总数:",len(train_vocab))

valid_vocab = set(chain(*map(lambda x: jieba.lcut(x),test_data["sentence"])))
print("验证集不同词汇总数:",len(valid_vocab))

五.高频词汇词云

高频形容词词云

对于情感分析,我们往往会提取形容词,来评估语料集的质量。

python 复制代码
import jieba.posseg as pseg
from wordcloud import WordCloud
# 词性统计
def get_a_list(text):
    r = []
    for g in pseg.lcut(text):
        if g.flag == 'a':  #a就是形容词
            r.append(g.word)  #把词存入列表
    return r

def get_word_cloud(keyword_list):
    wordcloud = WordCloud(background_color='white', font_path='C:\Windows\Fonts\STFANGSO.TTF', max_font_size=100, random_state=42)
    keyword_string = " ".join(keyword_list)  #这里参数必须传字符串类型
    wordcloud.generate(keyword_string)
    plt.figure()
    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis("off")
    plt.show()
#正样本
p_train_data = train_data[train_data['label']==1]["sentence"]
train_p_a_vocab = chain(*map(lambda x: get_a_list(x),p_train_data))

#负样本
n_train_data = train_data[train_data['label']==0]["sentence"]
train_n_a_vocab = chain(*map(lambda x: get_a_list(x),n_train_data))

get_word_cloud(train_p_a_vocab)
get_word_cloud(train_n_a_vocab)

正样本主要是褒义词,负样本主要是贬义词,基本符合要求,但是可以发现负样本中出现了"舒服","干净",可以进一步进行人工审查。

相关推荐
弈栈录1 天前
时间序列分析:按日、周、月进行趋势统计
数据分析·pandas
Databend1 天前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
镰刀韭菜1 天前
用 AI 做数据分析时,怎么保住自己的思考力
sql·数据分析·学习方法·提示工程·ai应用
倔强的石头_1 天前
白嫖 1000 次额度,我把这个企业数据 API 的 6 个维度测了个遍
数据分析
Sharewinfo_BJ1 天前
从“看数据”到“做决策”:AI时代,BI的下一个形态是什么?
ai·数据分析·bi·智信bi
躺柒2 天前
读数据分析思维通识课09读后总结与感想兼导读
数据挖掘·数据分析·总结·数据思维
花漾TK2 天前
TikTok达人索样管理:审批、跟踪与数据复盘怎么衔接?
数据分析·tiktok shop·达人营销
培培说证3 天前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
Aloudata3 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒3 天前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图