scrapy框架爬取豆瓣top250电影排行榜（下）

期末考复习中，蓝桥杯都没时间学了2024-07-18 17:27

（3）在 pipeline.py 文件中对数据进行存储，此程序先写入 txt 文件中，是为了判断该程序是否能正确爬取出数据。此处使用了 json 库，使用 ensure_ascii = False，能够确保非 ASCII 字符（如中文）的数据写入 txt 文件中。

python 复制代码

import json
class DoubanPipeline:
    def open_spider(self,spider):
        self.f = open('maoer1.json','w',encoding='utf-8')
    def process_item(self, item, spider):
        json_str = json.dumps(dict(item),ensure_ascii=False) + '\n'
        self.f.write(json_str)
        return item
    def close_spider(self,spider):
        self.f.close()

（4）在 setting.py 文件中设置优先级。

此外，在我调试的过程中，我发现得做反爬措施。

（5）在此项目下创建一个 main.py 文件，用于调试。

python 复制代码

import os.path
import sys
from scrapy.cmdline import execute
currentFile = os.path.abspath(__file__)
currentPath = os.path.dirname(currentFile)
# print(currentPath)
sys.path.append(currentPath)
execute(["scrapy","crawl","db"])

（6）最终得到的数据如下（json 文件中）：

（7）将数据转存至 mysql 中，使用 pymysql 成功连接数据库后，通过 sql 语句 insert into 表名 values（值）将数据进行保存。

python 复制代码

import mysql.connector
import json

conn = mysql.connector.connect(
    host="127.0.0.1",
    user="root",
    password="010208",
    database="spider",
    port = 3306,
    charset = "utf8"
)

cursor = conn.cursor()

with open('maoer1.json', 'r') as file:
    data = json.load(file)
    for entry in data:
        description = entry.get('description', '')  # 确保title字段存在
        movie_name = entry.get('movie_name', '')
        director = entry.get('director', '')
        score = entry.get('score', '')

        sql = "INSERT INTO spider10 (description,movie_name,director,score) VALUES (%s,%s,%s,%s)"
        cursor.execute(sql, (description,movie_name,director,score))
conn.commit()

cursor.close()
conn.close()

（8）结果展示

三.数据可视化

本题根据现有数据，做了柱状图和词云图。（好像不是很好看）

四.应用场景

通过对豆瓣网站进行数据爬取并进行可视化分析，我们可以看到，当代社会中人们喜欢的影视作品种类多样，评分较高，质量较高。希望该网站进行推出优秀作品，丰富人们的闲暇生活。

ok，这就是完整的程序说明，重点，我自己写的！