python-爬虫-爬取中华人民共和国农业农村部网站公开的农产品批发价格中的蔬菜价格周数据

中华人民共和国农业农村部 http://www.moa.gov.cn/


分析

  • 抓包,发现getFrequencyData里面有我们想要的数据

  • 查看请求的提交参数

  • 使用postman接口测试工具测试验证getFrequencyData里的url,发现测试返回的数据列表是空的

  • 继续分析,发现需要先访问updateFrequencyConditions,再访问getFrequencyData

爬取

python 复制代码
import requests
import uuid
import time
  • 爬取第一页的数据
python 复制代码
url1 = 'http://zdscxx.moa.gov.cn:8080/nyb/updateFrequencyConditions'
url2 = 'http://zdscxx.moa.gov.cn:8080/nyb/getFrequencyData'
data = {
    'page':'1',
    'rows':'20',
    'type':'周度数据',
    'subType':'农产品批发价格',
    'level':'0',
    'time':'["2019-37","2023-38"]',
    'product':'蔬菜'
}
headers = {
    'Cookie':'JSESSIONID=9EDB9C447A01905C7893BDE4C220CF65; yfx_c_g_u_id_10002896=_ck23091319002016340778405571397; yfx_f_l_v_t_10002896=f_t_1694602820630__r_t_1694602820630__v_t_1694602820630__r_c_0; _trs_uv=lmhmrkth_299_3qsk; wdcid=5dbb601a9ccf2804; wdses=369f04c5d15e94ad; _va_ref=%5B%22%22%2C%22%22%2C1694602920%2C%22http%3A%2F%2Fzdscxx.moa.gov.cn%3A8080%2F%22%5D; _va_ses=*; _va_id=34f0e583bc02483c.1694602920.1.1694602960.1694602920.; wdlast=1694603152',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76',
    'Host':'zdscxx.moa.gov.cn:8080',
    'Origin':'http://zdscxx.moa.gov.cn:8080',
    'Referer':'http://zdscxx.moa.gov.cn:8080/nyb/pc/frequency.jsp',
    'X-Requested-With':'XMLHttpRequest'
}


s = requests.session()	# <requests.sessions.Session at 0x24b202c27f0>
r1 = s.post(url1,data=data,headers=headers)		# <Response [200]>
r2 = s.post(url2,data=data,headers=headers)		# <Response [200]>
content = r2.json()		# 得到json数据
data_list = content['result']['pageInfo']['table']
for item in data_list:
    v_data = {}
    v_data['时间'] = item['time']
    v_data['品类'] = item['product']
    v_data['指标'] = item['item']
    v_data['地区'] = item['area']
    v_data['单位'] = item['unit']
    v_data['数值'] = item['value']
    print(v_data)
  • 爬取所有页面的数据,只需要修改data里面的page
python 复制代码
for page in range(1,11):  	# 一共10页
    url1 = 'http://zdscxx.moa.gov.cn:8080/nyb/updateFrequencyConditions'
    url2 = 'http://zdscxx.moa.gov.cn:8080/nyb/getFrequencyData'
    data = {
        'page':page,
        'rows':'20',
        'type':'周度数据',
        'subType':'农产品批发价格',
        'level':'0',
        'time':'["2019-37","2023-38"]',
        'product':'蔬菜'
    }
    headers = {
        'Cookie':'JSESSIONID=9EDB9C447A01905C7893BDE4C220CF65; yfx_c_g_u_id_10002896=_ck23091319002016340778405571397; yfx_f_l_v_t_10002896=f_t_1694602820630__r_t_1694602820630__v_t_1694602820630__r_c_0; _trs_uv=lmhmrkth_299_3qsk; wdcid=5dbb601a9ccf2804; wdses=369f04c5d15e94ad; _va_ref=%5B%22%22%2C%22%22%2C1694602920%2C%22http%3A%2F%2Fzdscxx.moa.gov.cn%3A8080%2F%22%5D; _va_ses=*; _va_id=34f0e583bc02483c.1694602920.1.1694602960.1694602920.; wdlast=1694603152',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76',
        'Host':'zdscxx.moa.gov.cn:8080',
        'Origin':'http://zdscxx.moa.gov.cn:8080',
        'Referer':'http://zdscxx.moa.gov.cn:8080/nyb/pc/frequency.jsp',
        'X-Requested-With':'XMLHttpRequest'
    }


    s = requests.session()	# <requests.sessions.Session at 0x24b202c27f0>
    r1 = s.post(url1,data=data,headers=headers)	# <Response [200]>
    r2 = s.post(url2,data=data,headers=headers)	# <Response [200]>
    content = r2.json()		# 得到json数据
    data_list = content['result']['pageInfo']['table']
    for item in data_list:
        v_data = {}
        v_data['时间'] = item['time']
        v_data['品类'] = item['product']
        v_data['指标'] = item['item']
        v_data['地区'] = item['area']
        v_data['单位'] = item['unit']
        v_data['数值'] = item['value']
        print(v_data)
    time.sleep(5)
相关推荐
☼←安于亥时→❦5 小时前
PyTorch 梯度与微积分
人工智能·pytorch·python
程序员三藏5 小时前
2025最新的软件测试面试八股文(800+道题)
自动化测试·软件测试·python·功能测试·测试工具·面试·职场和发展
Pocker_Spades_A5 小时前
Python快速入门专业版(二十三):for循环基础:遍历字符串、列表与range()函数(计数案例)
python
闲人编程5 小时前
图像去雾算法:从物理模型到深度学习实现
图像处理·人工智能·python·深度学习·算法·计算机视觉·去雾
Kyln.Wu7 小时前
【python实用小脚本-211】[硬件互联] 桌面壁纸×Python梦幻联动|用10行代码实现“开机盲盒”自动化改造实录(建议收藏)
开发语言·python·自动化
Ms_Big7 小时前
ppliteseg改rknn,部署在嵌入式板,加速模型
人工智能·python·深度学习
折翼的恶魔8 小时前
数据分析:合并
python·数据分析·pandas
百锦再8 小时前
在 CentOS 系统上实现定时执行 Python 邮件发送任务
java·linux·开发语言·人工智能·python·centos·pygame
I'm a winner9 小时前
第五章:Python 数据结构:列表、元组与字典(二)
数据结构·python
番薯大佬9 小时前
Python学习-day8 元组tuple
java·python·学习