二、爬虫-爬取肯德基在北京的店铺地址

1、算法框架解释

针对这个案例,现在对爬虫的基础使用做总结如下:

1、算法框架

(1)设定传入参数

~url:

当前整个页面的url:当前页面的网址

当前页面某个局部的url:打开检查

~data:需要爬取数据的关键字,即搜索内容

~param:需要获取哪些(类型)的数据,即数据类型

~headers:UA伪装

(2)得到get/post请求响应

根据"检查"结果进行判断:

get请求:response=requests.get(url=**,data=**,param=**,headers=**)

post请求:response=requests.post(url=**,data=**,param=**,headers=**)

(3)将得到的请求响应json化数据

此处以request.get/post请求数据为dict为例:

dict_obj=response.json() #在这里,你得到的其实是一个python对象,也就是python的字典

(4)持久化存储

~得到存储地址和修改权限

fp=open("目录",'w',encoding="UTF-8)

~将python对象编码成Json字符串>>格式转化>>python(dict)------>json

json.dump(返回的json数据>>dict_obj,fp=存储地址>>fp,ensure_ascii=False)

~结束

2、代码解析

python 复制代码
import requests
import json

"""

"""
if __name__ == "__main__":
    print("开始爬取")
    # (1)
    post_url = 'https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    post_data = {
        'kw': '上海'
    }
    post_param = {
        "cname": "",
        "pid": "",
        "keyword": "上海",
        "pageIndex": "1",
        "pageSize": "10"
    }
    post_header = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/119.0.0.0 Mobile Safari/537.36"
    }
    # (2)
    response = requests.post(url=post_url, data=post_data, params=post_param, headers=post_header)
    # (3)
    dict_obj = response.json()
    # print(type(dict_obj))
    # (4)
    fp = open('./html/KenDeJi.json', 'w', encoding='UTF-8')
    json.dump(dict_obj, fp=fp, ensure_ascii=False)
    print("over")
相关推荐
灵智工坊LingzhiAI1 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
烛阴9 小时前
简单入门Python装饰器
前端·python
好开心啊没烦恼9 小时前
Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy
面朝大海,春不暖,花不开9 小时前
使用 Python 实现 ETL 流程:从文本文件提取到数据处理的全面指南
python·etl·原型模式
失败又激情的man10 小时前
Scrapy进阶封装(第四阶段:中间件设置,动态UA,ip代理池)
爬虫·scrapy·中间件
2301_8050545610 小时前
Python训练营打卡Day59(2025.7.3)
开发语言·python
万千思绪11 小时前
【PyCharm 2025.1.2配置debug】
ide·python·pycharm
微风粼粼12 小时前
程序员在线接单
java·jvm·后端·python·eclipse·tomcat·dubbo
云天徽上12 小时前
【PaddleOCR】OCR表格识别数据集介绍,包含PubTabNet、好未来表格识别、WTW中文场景表格等数据,持续更新中......
python·ocr·文字识别·表格识别·paddleocr·pp-ocrv5
你怎么知道我是队长13 小时前
python-input内置函数
开发语言·python