Python爬虫 l 中国农药信息网的农药登记数据

一、爬取目标

二、完整源码

sql 复制代码
#""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
#
# Copyright (c) 2024 愤怒的it男, All Rights Reserved.
# FileName : code.py
# Date     : 2024.01.14
# Author   : 愤怒的it男
# Version  : 1.0.0
# Node     : 欢迎关注微信公众号【愤怒的it男】
#
#""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""

import csv
import requests
from lxml import etree
from prettytable import PrettyTable

def getData(baseUrl, data, headers): 
    response = requests.post(url=baseUrl, data=data, headers=headers)
    html = etree.HTML(response.text)
    trs = html.xpath("//table[@id='tab']/tr")
    data = []
    for index,tr in enumerate(trs):
        text = tr.xpath("td//text()")
        if index !=0:
            text = [text[1].strip(),text[3],text[4],text[5],text[6],text[7],text[9].strip()]
            data.append(text)
    return data

def printData(result):
    table = PrettyTable()
    table.field_names = ["登记证号", "农药名称", "农药类别", "剂型", "总含量", "有效期至", "登记证持有人"]
    table.add_rows(result)
    print(table)

def saveData(result):
    with open('农药登记数据.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        writer.writerows(result)

def main():
    baseUrl = 'https://www.icama.cn/BasicdataSystem/pesticideRegistration/queryselect.do'
    headers = {'Content-Type':'application/x-www-form-urlencoded',
               'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    data = "pageNo=1&pageSize=50000&djzh=&nymc=&cjmc=&sf=&nylb=&zhl=&jx=&zwmc=&fzdx=&syff=&dx=&yxcf=&yxcf_en=&yxcfhl=&yxcf2=&yxcf2_en=&yxcf2hl=&yxcf3=&yxcf3_en=&yxcf3hl=&yxqs_start=&yxqs_end=&yxjz_start=&yxjz_end=&accOrfuzzy=2"
    result = getData(baseUrl, data, headers)
    printData(result)
    saveData(result)

if __name__== "__main__" :
    main()

三、源码简析

1、请求头headers以及请求载荷data

在Chrome浏览器开发者工具中抓包分析,可以知道本实例的请求属于POST请求,请求头的Content-Type为application/x-www-form-urlencoded,还有名称/值对的请求载荷数据,所以请求头headers以及请求载荷data设置如下:

ini 复制代码
baseUrl = 'https://www.icama.cn/BasicdataSystem/pesticideRegistration/queryselect.do'
headers = {'Content-Type':'application/x-www-form-urlencoded',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
data = "pageNo=1&pageSize=50000&djzh=&nymc=&cjmc=&sf=&nylb=&zhl=&jx=&zwmc=&fzdx=&syff=&dx=&yxcf=&yxcf_en=&yxcfhl=&yxcf2=&yxcf2_en=&yxcf2hl=&yxcf3=&yxcf3_en=&yxcf3hl=&yxqs_start=&yxqs_end=&yxjz_start=&yxjz_end=&accOrfuzzy=2"
  • 请求头中的Content-Type,就是B端发给S端的数据类型描述,即告诉服务器端,我给你传的数据是某种类型的,然后服务器端针对不同类型的数据做出不同的反应。常见的Content-Type类型:
bash 复制代码
application/x-www-form-urlencoded:载荷被URL编码为名称/值对的数据。
multipart/form-data:载荷被编码为二进制类型的数据(一般用来上传文件)。
application/json:载荷被编码为json格式的数据。
text/xml:载荷被编码为XML格式的数据。
  • 通过requests.get()进行GET请求时不存在请求实体部分,浏览器把载荷参数转换成一个字串a=1&b=2,然后把这个字串用?追加到URL尾部,因此请求头不需要设置Content-Type字段。

  • 通过requests.post()进行POST请求时,传入报文的参数有两个,一个是data,一个是json。用data参数提交数据时,request.body的内容则为a=1&b=2这种形式,用json参数提交数据时,request.body的内容则为{"a": 1, "b": 2}这种形式。

2、'utf-8'编码格式打开文件

在使用open函数时,如果不指定文件编码格式,默认使用系统的编码格式。由于本人系统的编码格式为gbk,所以出现了以下错误:

arduino 复制代码
UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' in position 12: illegal multibyte sequence

即'gbk'编码格式不能编码字符'\u2022',所以需要指定文件编码格式,可以使用'utf-8'编码格式来打开文件。

python 复制代码
def saveData(result):
    with open('农药登记数据.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        writer.writerows(result)

四、爬取结果

yaml 复制代码
+------------+--------------------------------+-----------------------+--------------------------+--------------------------------------------------------+------------+--------------------------------------------+
|  登记证号  |            农药名称            |        农药类别       |           剂型           |                         总含量                         |  有效期至  |                登记证持有人                |
+------------+--------------------------------+-----------------------+--------------------------+--------------------------------------------------------+------------+--------------------------------------------+
| PD20095400 |             咯菌腈             |         杀菌剂        |        可湿性粉剂        |                          50%                           | 2029-4-26  |         瑞士先正达作物保护有限公司         |
| PD20141067 |          氰烯·己唑醇           |         杀菌剂        |          悬浮剂          |                          20%                           | 2029-4-24  |        陕西上格之路生物科学有限公司        |
| PD20141065 |          噻嗪·毒死蜱           |         杀虫剂        |        可湿性粉剂        |                          30%                           | 2029-4-24  |        陕西上格之路生物科学有限公司        |
| PD20141049 |             吡蚜酮             |         杀虫剂        |        水分散粒剂        |                          70%                           | 2029-4-23  |        福建新农大正生物工程有限公司        |
| PD20095204 |             乙烯利             |     植物生长调节剂    |           水剂           |                          40%                           | 2029-4-23  |            侨昌现代农业有限公司            |
| PD20095203 |             烯唑醇             |         杀菌剂        |           原药           |                          95%                           | 2029-4-23  |        江苏七洲绿色化工股份有限公司        |
| PD20095180 |          苯·吡·甲草胺          |         除草剂        |         泡腾粒剂         |                          31%                           | 2029-4-23  |            丹东明珠科技有限公司            |
| PD20095175 |          藤酮·辛硫磷           |         杀虫剂        |           乳油           |                          18%                           | 2029-4-23  |      广西施乐农化科技开发有限责任公司      |
| PD20095172 |             溴敌隆             |         杀鼠剂        |           母液           |                          0.5%                          | 2029-4-23  |     辽宁省沈阳爱威科技发展股份有限公司     |
| PD20095167 |             辛硫磷             |         杀虫剂        |           乳油           |                          40%                           | 2029-4-23  |        福建新农大正生物工程有限公司        |
| PD20095163 |             烯唑醇             |         杀菌剂        |        可湿性粉剂        |                         12.5%                          | 2029-4-23  |        江苏七洲绿色化工股份有限公司        |
| PD20095155 |            复硝酚钠            |     植物生长调节剂    |           水剂           |                          1.4%                          | 2029-4-23  |            德州祥龙生化有限公司            |
| PD20095146 |          五氯·福美双           |         杀菌剂        |           粉剂           |                          40%                           | 2029-4-23  |       禾美思(山东)植物保护有限公司       |
| PD20095129 |             吡虫啉             |         杀虫剂        |        可湿性粉剂        |                          10%                           | 2029-4-23  |          江苏快达农化股份有限公司          |
| PD20095126 |            三十烷醇            |     植物生长调节剂    |         可溶液剂         |                          0.1%                          | 2029-4-23  |          浙江大鹏药业股份有限公司          |
| PD20095125 |             莠去津             |         除草剂        |        可湿性粉剂        |                          48%                           | 2029-4-23  |         河南贝力沃生物科技有限公司         |
| PD20095115 |     三氯吡氧乙酸丁氧基乙酯     |         除草剂        |           乳油           |                        480克/升                        | 2029-4-23  |          四川利尔作物科学有限公司          |
| PD20095108 |         高效氟吡甲禾灵         |         除草剂        |           原药           |                          96%                           | 2029-4-23  |              首建科技有限公司              |
| PD20095095 |          吡虫·杀虫单           |         杀虫剂        |        可湿性粉剂        |                          35%                           | 2029-4-23  |          河南常见生物科技有限公司          |
| PD20141042 |          磺草·莠去津           |         除草剂        |          悬浮剂          |                          40%                           | 2029-4-22  |            吉林金秋农药有限公司            |
| PD20095083 |           异丙甲草胺           |         除草剂        |           乳油           |                        720克/升                        | 2029-4-21  |         河南金田地农化有限责任公司         |

五、免责声明

本公众号所有源码均为个人学习所编写,仅可用于计算机技术学习及研究等合法行为,禁止利用本公众号的源码从事任何违反本国(地区)法律法规的业务,如有发现存在违法违规行为我会举报到网监部门。

相关推荐
枫哥和java1 小时前
python serializer, model drf通过序列化器, 模型获取mysql 一张表某个字段数据库现存的最大值
数据库·python·mysql
无忧无虑Coding3 小时前
pyinstall 打包Django程序
后端·python·django
ad禥思妙想6 小时前
如何运行python脚本
开发语言·python
威威猫的栗子6 小时前
用 Python 与 Turtle 创作属于你的“冰墩墩”!
开发语言·python·turtle
IT古董6 小时前
【机器学习】超简明Python基础教程
开发语言·人工智能·python·机器学习
qq_q9922502776 小时前
django基于python 语言的酒店推荐系统
后端·python·django
小李L6 小时前
Python3 Flask 应用中使用阿里短信发送
后端·python·flask
好看资源平台6 小时前
动态网站数据爬取——Selenium的使用
爬虫·python
威威猫的栗子7 小时前
Python Turtle绘图:重现汤姆劈树的经典瞬间
开发语言·python
沙度灬7 小时前
python之sklearn--鸢尾花数据集之数据降维(PCA主成分分析)
开发语言·python·sklearn