scrapy框架爬取豆瓣top250电影排行榜(下)

(3)在 pipeline.py 文件中对数据进行存储,此程序先写 入 txt 文件中,是为了判断该程序是否能正确爬取出数据。 此处使用了 json 库,使用 ensure_ascii = False,能够确 保非 ASCII 字符(如中文)的数据写入 txt 文件中。

python 复制代码
import json
class DoubanPipeline:
    def open_spider(self,spider):
        self.f = open('maoer1.json','w',encoding='utf-8')
    def process_item(self, item, spider):
        json_str = json.dumps(dict(item),ensure_ascii=False) + '\n'
        self.f.write(json_str)
        return item
    def close_spider(self,spider):
        self.f.close()

(4)在 setting.py 文件中设置优先级。

此外,在我调试的过程中,我发现得做反爬措施。

(5)在此项目下创建一个 main.py 文件,用于调试。

python 复制代码
import os.path
import sys
from scrapy.cmdline import execute
currentFile = os.path.abspath(__file__)
currentPath = os.path.dirname(currentFile)
# print(currentPath)
sys.path.append(currentPath)
execute(["scrapy","crawl","db"])

(6)最终得到的数据如下(json 文件中):

(7)将数据转存至 mysql 中,使用 pymysql 成功连接数据 库后,通过 sql 语句 insert into 表名 values(值)将数 据进行保存。

python 复制代码
import mysql.connector
import json

conn = mysql.connector.connect(
    host="127.0.0.1",
    user="root",
    password="010208",
    database="spider",
    port = 3306,
    charset = "utf8"
)

cursor = conn.cursor()

with open('maoer1.json', 'r') as file:
    data = json.load(file)
    for entry in data:
        description = entry.get('description', '')  # 确保title字段存在
        movie_name = entry.get('movie_name', '')
        director = entry.get('director', '')
        score = entry.get('score', '')

        sql = "INSERT INTO spider10 (description,movie_name,director,score) VALUES (%s,%s,%s,%s)"
        cursor.execute(sql, (description,movie_name,director,score))
conn.commit()

cursor.close()
conn.close()

(8)结果展示

三.数据可视化

本题根据现有数据,做了柱状图和词云图。(好像不是很好看)

四.应用场景

通过对豆瓣网站进行数据爬取并进行可视化分析,我们可以看到,当代社会中人们喜欢的影视作品种类多样,评分较高,质量较高。希望该网站进行推出优秀作品,丰富人们的闲暇生活。


ok,这就是完整的程序说明,重点,我自己写的!

相关推荐
我就说好玩7 天前
使用Scrapy框架爬取博客信息
scrapy·pycharm·网络爬虫·spider
孤客网络科技工作室9 天前
深入学习 Scrapy 框架:从入门到精通的全面指南
学习·scrapy
虞书欣的611 天前
Python小游戏14——雷霆战机
python·scrapy·游戏·pycharm·pygame
胜天半月子13 天前
Scrapy | 通过爬取豆瓣Top250电影信息来学习在中间件中应用随机请求头和代理ip
selenium·scrapy·中间件·代理ip
微刻时光16 天前
影刀RPA实战:网页爬虫之桌面壁纸图片
爬虫·python·scrapy·机器人·rpa·影刀·影刀rpa
胜天半月子16 天前
Scrapy | Scrapy框架中管道的使用
数据库·python·scrapy·管道
人生の三重奏17 天前
scrapy案例——当当网的爬取一
爬虫·scrapy·xpath
聪明的墨菲特i17 天前
Python中3个常见网络爬虫库
数据库·后端·爬虫·python·selenium·scrapy·requests
人生の三重奏17 天前
爬虫——scrapy的基本使用
爬虫·scrapy
胜天半月子18 天前
Scrapy | 爬取笑话网来认识继承自Spider的crawlspider爬虫类
爬虫·scrapy·crawlspider