前言
-
本项目综合了基本数据分析的流程,包括数据采集(爬虫)、数据清洗、数据存储、数据前后端可视化等
-
推荐阅读顺序为:数据采集------>数据清洗------>数据库存储------>基于Flask的前后端交互,有问题的话可以留言,有时间我会解疑~
-
感谢阅读、点赞和关注
开发环境
- 系统:Window 10 家庭中文版。
- 语言:Python(3.9)、MySQL。
- Python所需的库:pymysql、pandas、numpy、time、datetime、requests、etree、jieba、re、json、decimal、flask(没有的话pip安装一下就好)。
- 编辑器:jupyter notebook、Pycharm、SQLyog。
(如果下面代码在jupyter中运行不完全,建议直接使用Pycharm中运行)
文件说明
本项目下面有四个.ipynb的文件,下面分别阐述各个文件所对应的功能:(有py版本 可后台留言)
-
数据采集:分别从前程无忧网站和猎聘网上以关键词数据挖掘爬取相关数据。其中,前程无忧上爬取了270页,有超过1万多条数据;而猎聘网上只爬取了400多条数据,主要为岗位要求文本数据,最后将爬取到的数据全部储存到csv文件中。
-
数据清洗:对爬取到的数据进行清洗,包括去重去缺失值、变量重编码、特征字段创造、文本分词等。
-
数据库存储:将清洗后的数据全部储存到MySQL中,其中对文本数据使用jieba.analyse下的extract_tags来获取文本中的关键词和权重大小,方便绘制词云。
-
基于Flask的前后端交互:使用Python一个小型轻量的Flask框架来进行Web可视化系统的搭建,在static中有css和js文件,js中大多为百度开源的ECharts,再通过自定义controller.js来使用ajax调用flask已设定好的路由,将数据异步刷新到templates下的main.html中。
技术栈
- Python爬虫:(requests和xpath)
- 数据清洗:详细了解项目中数据预处理的步骤,包括去重去缺失值、变量重编码、特征字段创造和文本数据预处理 (pandas、numpy)
- 数据库知识:select、insert等操作,(增删查改&pymysql) 。
- 前后端知识:(HTML、JQuery、JavaScript、Ajax)。
- Flask知识:一个轻量级的Web框架,利用Python实现前后端交互。(Flask)
三、数据库存储
需要先在数据库中定义好数据库以及表
这里改成自己数据库的用户名和密码
下面是 连接数据库 和 关闭数据库
python
def get_con():
con = pymysql.connect(host = 'localhost', user = '用户名', password = '密码', database = '数据库名', charset = 'utf8')
cursor = con.cursor()
return con, cursor
def con_close(con, cursor):
if cursor:
cursor.close()
if con:
con.close()
读取数据
python
df = pd.read_csv('51job_data_preprocessing.csv', encoding = 'gb18030')
df
将每行数据都转变为tuple数据类型,然后遍历把每条数据都添加到sql中,有多次存数因而不使用上方函数
python
con, cursor = get_con()
for i in range(len(df)):
s = tuple(df.iloc[i, :])
print({s})
sql = f'insert into data_mining values{s}'
cursor.execute(sql)
con.commit()
con_close(con, cursor)
可以显示当前的时间
python
time_str = time.strftime('%Y{}%m{}%d{} %X')
time_str.format('年', '月', '日')
将岗位要求数据存储到sql以及数据集中
把词云部分数据也存放进数据库中
python
df_cloud = pd.read_csv('liepin_job_detail.csv', encoding = 'gb18030')
df_cloud
将每一列英文全部转换为大写的
python
df_cloud = df_cloud.apply(lambda x: [i.upper() for i in x])
df_cloud.head()
对文本进行去重操作
python
s = np.unique(df_cloud.sum().tolist()).tolist()
由于后期使用echarts绘制词云需要知道各个关键词的权重大小,所以下面使用jieba下的extract_tags来挖掘各个关键词和权重大小,注意extract_tags输入的是一个字符串,我们挑选出前150个关键词及权重
python
ss = aa.extract_tags(' '.join(s), topK = 150, withWeight = True)
ss
python
con, cursor = get_con()
for i in range(len(ss)):
sql = "insert into data_mining_cloud(词语, 权重) value ({0}, {1})".format(repr(ss[i][0]), ss[i][1])
cursor.execute(sql)
con.commit()
con_close(con, cursor)
用repr方法可以自动帮我们加上引号
如果写不进sql中,可以参照这个,也可以直接存储到csv文件中
python
# # 存不进sql直接存储到csv文件中
# text, weight = [], []
# for i in range(len(ss)):
# text.append(ss[i][0])
# weight.append(ss[i][1])
# df_cloud_clean = pd.DataFrame({'词语': text, '权重': weight})
# df_cloud_clean.to_csv('./wordcloud.csv', encoding = 'gb18030', index = None)