python爬虫(二) ---- JS动态渲染数据抓取

python爬虫之JS动态渲染数据抓取

一、环境准备

  • 练习地址: https://spa1.scrape.center/page/1

  • requests:发出请求

  • pandas:保存数据到 csv文件

  • 依赖安装命令:

    powershell 复制代码
    pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple
    pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

二、爬取思路

  • JS动态渲染的数据是前后端分离的, 直接通过地址无法获取到具体的数据, 需要找到数据返回的api, 然后通过requests请求api拿到数据(一般为json数据), 最后进行解析获取想要的内容
  • 在浏览器开发者模式中, 选中 网络 -> Fetch/XHR, 找到api, 如下图所示:
  • 分析这个json结构, 解析出需要的内容

三、代码示例

python 复制代码
import requests
import pandas as pd


def request(url):
    r = requests.get(url);
    return r.json();


def parseJson(json_data):
    movie_list = []
    results = json_data['results']
    for result in results:
        movie_info = {'name': f"{result['name']} - {result['alias']}",
                      'categories': ','.join(result['categories']),
                      'location': ','.join(result['regions']),
                      'duration': result['minute'],
                      'release_date': result['published_at'],
                      'score': result['score']}
        movie_list.append(movie_info)
    return movie_list


def save(data):
    df = pd.DataFrame(data);
    # 设置表头
    df.columns = ['电影名', '类型', '地域', '时长', '上映时间', '评分'];
    df.to_csv("data_js.csv", index=False, encoding='utf-8-sig');


if __name__ == '__main__':
    # 发出请求
    jsonData = request('https://spa1.scrape.center/api/movie/?limit=10&offset=0')
    print(f'获取jsonData成功..')

    # 解析json
    movie_list = parseJson(jsonData);
    print('解析json成功..')

    # 存储数据
    save(movie_list)
    print('写入文件成功...')

四、结果展示

相关推荐
王六岁4 分钟前
🐍 前端开发 0 基础学 Python 入门指南:f-strings 篇
前端·javascript·python
清空mega8 分钟前
从零开始搭建 flask 博客(1)实验
后端·python·flask
一道雷9 分钟前
🚀 Vue Router 插件系统:让路由扩展变得简单优雅
前端·javascript·vue.js
wgb040918 分钟前
vxe table 升级之后页面数据不显示解决方法
java·前端·javascript
集成显卡23 分钟前
Bun.js + Elysia 框架实现基于 SQLITE3 的简单 CURD 后端服务
开发语言·javascript·sqlite·bun.js
maotou52628 分钟前
dvadmin开发文档(第一版)
python·django
不去幼儿园43 分钟前
【启发式算法】狼群算法(Wolf Pack Algorithm, WPA)算法详细介绍(Python)
python·算法·启发式算法·任务分配·集群智能
傻啦嘿哟1 小时前
告别爬取困境:用Playwright完美抓取复杂动态网页
python
im_AMBER1 小时前
JavaScript 03 【基础语法学习】
javascript·笔记·学习
做科研的周师兄1 小时前
【机器学习入门】9.2:感知机 Python 实践代码模板(苹果香蕉分类任务适配)
人工智能·python·学习·机器学习·分类·数据挖掘·numpy