首先安装需要的python库,
安装完之后利用navicat导入数据库文件bili100.sql到mysql中,
再在pycharm编译器中连接mysql数据库,并在设置文件中将密码修改成你的数据库密码。最后运行app.py,打开链接,即可运行。
B站爬虫数据分析可视化项目
python爬虫数据分析可视化项目
哔哩哔哩bilibiliTOP100数据并可视化
Python爬取哔哩哔哩各分区TOP100排行榜数据,保存到MySQL数据库中,利用PyEcharts库进行可视化。
可视化图表包括:各分区占比饼图、各分区总播放数漏斗图、综合排名标题词云图、各分区点赞投币收藏情况、各分区弹幕评论转发情况和综合收藏投币点赞情况。
核心算法代码分享如下:
python
import time
import pymysql
class dbUtil():
def __init__(self):
conn, cursor = self.get_conn()
self.conn = conn
self.cursor = cursor
def get_time(self):
time_str = time.strftime("%Y{}%m{}%d{} %X")
return time_str.format("年", "月", "日")
def get_conn(self):
# 建立连接
conn = pymysql.connect(host="127.0.0.1", user="root", password="123456", db="bili100", charset="utf8")
# c创建游标A
cursor = conn.cursor()
return conn, cursor
def close_commit(self):
self.conn.commit()
if self.cursor:
self.cursor.close()
if self.conn:
self.conn.close()
def close(self):
self.conn.commit()
if self.cursor:
self.cursor.close()
if self.conn:
self.conn.close()
def query(self, sql, *args):
self.cursor.execute(sql, args)
res = self.cursor.fetchall()
return res
def query_noargs(self, sql):
self.cursor.execute(sql)
res = self.cursor.fetchall()
return res