CSDN热榜分析6:将实时爬取的热榜数据导入sqlite

文章目录

初始化数据库

引入数据库的目的不止是为了存储,更多地也是为了便于查询,否则也没必要用一个Text控件来展示信息了。

所以一个正常的工作逻辑是,一打开热榜分析系统,也就同步打开数据库,然后随用随查,而打开数据库之后需要检查是否已经建立了热榜表格,如果没建立那么就建立一下。

所以在初始化函数中新增一个self.initSql(),内容如下

python 复制代码
def initSql(self):
    self.dbCSDN = sqlite3.connect('csdn.db')
    HEADS = 'create table heat (日期 int, 时间 int, 热榜 text, 序号 int, '
    HEADS += '标题 text, 作者 text, 浏览 int, '
    HEADS += '评论 int, 收藏 int, 热度 int)'
    try: self.dbCSDN.execute(HEADS)
    except: pass

如果已经有了heat表格,那么再去创建就会报错,所以只要pass掉就可以了。

接口更改

相比于读取完所有数据之后一次性导入数据库,在数据爬取的过程中导入显然更加自然。

另一方面,读取数据需要新开一个线程,而sqlite3模块并不支持跨线程操作,所以只能等数据传回来再操作,

这两个条件,就基本框定了技术方案,只能在爬虫回调时写入数据库,但之前的回调函数是直接把当前爬取的数据列表传回,而非单条数据,所以需要花费一点精力修改接口,主要就是把大部分调用回调函数的地方,从类似callback(blogs)改为callback(b),然后将backOneSubHeat改成下列形式

python 复制代码
def backOneSubHeat(self, L, info, field=None):
    if field not in self.subHeats:
        self.subHeats[field] = []
    if L != []:
        self.subHeats[field].append(L)
    if info.endswith("完毕"):
        n = len(self.subHeats[field])
        self.addLogs(f"共读取了{field}领域{n}篇博客")

同时为了接口统一,之前的backAllSubHeat就没有必要存在了,同时更改getAllSubHeatInfos函数

python 复制代码
def getAllSubHeatInfos(callback):
    blogs = {}
    for key in SUB_HEATS:
        func = lambda L, info : callback(L, info, key)
        func([], f"正在读取{key}领域热榜")
        blogs[key] = getHeatInfos(func, key)
        func([], f"{key}已经读取完成")
    func([], f"所有领域热榜都已读取完成")
    return blogs

数据库写入

最麻烦的工作结束了,现在可以开始数据库写入

python 复制代码
# L为回传的数据
def importHeatToSql(self, L, field):
    CODE = "insert into heat values (date('now'), time('now'), "
    bInfo = ', '.join([f"'{iL}'" for iL in L])
    c = CODE + f"'{field}', {bInfo})" 
    try: 
        self.dbCSDN.execute(c)
    except Exception as e: 
        print(e, c)

最后,在关闭窗口时,别忘了存储和关闭数据库,首先在初始化函数中添加

python 复制代码
self.root.protocol("WM_DELETE_WINDOW", self.exit)

其self.exit内容如下

python 复制代码
def exit(self):
    self.dbCSDN.commit()
    self.dbCSDN.close()
    self.root.destroy()

为了确保的的确确把数据写入了数据库,可以用SQLiteStudio查看一下,

相关推荐
smilejingwei7 小时前
面向 Java 程序员的 SQLite 替代品
开发语言·sqlite·spl·esproc spl
Tech Synapse8 小时前
Python网络爬虫实践案例:爬取猫眼电影Top100
开发语言·爬虫·python
数据小爬虫@10 小时前
利用Python爬虫获取淘宝店铺详情
开发语言·爬虫·python
mariokkm14 小时前
Django一分钟:django中收集关联对象关联数据的方法
android·django·sqlite
小鹿撞出了脑震荡14 小时前
SQLite3语句以及用实现FMDB数据存储的学习
数据库·学习·sqlite
B站计算机毕业设计超人16 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法
易辰君18 小时前
【Python爬虫实战】深入解析 Scrapy 爬虫框架:高效抓取与实战搭建全指南
开发语言·爬虫·python
风动也无爱18 小时前
Java的正则表达式和爬虫
java·爬虫·正则表达式
数据小爬虫@19 小时前
如何利用Python爬虫精准获得1688店铺的所有商品信息
开发语言·爬虫·python
好看资源平台1 天前
动态网站数据爬取——Selenium的使用
爬虫·python