python开发:爬虫示例——GET和POST请求处理

一、Get请求

python 复制代码
import json
import requests

#输入示例:url='https://www.baidu.com'
#RequestHeader:F12标头-请求标头-原始-复制到这(忽略第一句)
def GetRequest(url,RequestHeader=""):
    try:
        dic={}
        RequestHeaderList = RequestHeader.strip().split("\n")
        if RequestHeader!="":
            for item in RequestHeaderList:
                if ":" in item:
                    key = item.split(":")[0].strip()
                    value = item.split(":")[1].strip()
                    dic[key] = value
        else:
            dic["User-Agent"]="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36 Edg/132.0.0.0"
            #dic["Cookie"]=""
        response=requests.get(url=url,headers=dic)  ##跳过安全验证:逗号补充一个"verify=False"
        response.encoding='utf-8'  ##一般填写utf-8或者gbk
        data=response.json() #获取json字符串
        data = json.dumps(data, indent=4, sort_keys=True, ensure_ascii=False)#字符串格式化为json
        #print(data)#打印Json
        response.close()
        data = json.loads(data)#json转化为py字典
        #print(data)#打印字典
        return data
    except Exception as ex:
        print(f"爬取异常,错误:{ex}")

if __name__ == '__main__':
    url = "https://xxxx/query?leftTicketDTO.train_no=6e000D402202&leftTicketDTO.train_date=2025-02-14&rand_code="
    RequestHeader="""
    GET /otn/queryTrainInfo/query?leftTicketDTO.train_no=6e000D402202&leftTicketDTO.train_date=2025-02-14&rand_code= HTTP/1.1
    Accept: */*
Accept-Encoding: gzip, deflate, br, zstd
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6
Connection: keep-alive
Cookie: JSESSIONID=3C843B300AF2985CE9CDC31F5271E223; _jc_save_wfdc_flag=dc; _jc_save_fromStation=%u8087%u5E86%u4E1C%2CFCQ; _jc_save_toStation=%u6B66%u6C49%u4E1C%2CLFN; _jc_save_toDate=2025-01-19; BIGipServerotn=1977155850.24610.0000; BIGipServerpassport=887619850.50215.0000; guidesStatus=off; highContrastMode=defaltMode; cursorStatus=off; route=9036359bb8a8a461c164a04f8f50b252; _jc_save_fromDate=2025-02-14
Host: kyfw.12306.cn
Referer: https://kyfw.12306.cn/otn/queryTrainInfo/init
Sec-Fetch-Dest: empty
Sec-Fetch-Mode: cors
Sec-Fetch-Site: same-origin
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36 Edg/132.0.0.0
X-Requested-With: XMLHttpRequest
sec-ch-ua: "Not A(Brand";v="8", "Chromium";v="132", "Microsoft Edge";v="132"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "Windows"
    """
    result = GetRequest(url,RequestHeader)#返回一个py字典
    dataList = result["data"]["data"]#依次选择key,就可以获得对应的值
    print(dataList[0])#尝试输出第一个值
相关推荐
Blossom.1181 小时前
把 AI 塞进「自行车码表」——基于 MEMS 的 3D 地形预测码表
人工智能·python·深度学习·opencv·机器学习·计算机视觉·3d
蒋星熠5 小时前
区块链技术探索与应用:从密码学奇迹到产业变革引擎
python·语言模型·web3·去中心化·区块链·密码学·智能合约
bdgtd881786 小时前
动态修补C扩展模块的函数指针有哪些风险?安全的修补方案是什么?
c语言·开发语言·安全
luquinn6 小时前
实现统一门户登录跳转免登录
开发语言·前端·javascript
Forward♞6 小时前
Qt——界面美化 QSS
开发语言·c++·qt
DogDaoDao6 小时前
用PyTorch实现多类图像分类:从原理到实际操作
图像处理·人工智能·pytorch·python·深度学习·分类·图像分类
默归7 小时前
分治法——二分答案
python·算法
麻雀无能为力7 小时前
python自学笔记14 NumPy 线性代数
笔记·python·numpy
大学生毕业题目8 小时前
毕业项目推荐:28-基于yolov8/yolov5/yolo11的电塔危险物品检测识别系统(Python+卷积神经网络)
人工智能·python·yolo·cnn·pyqt·电塔·危险物品
##学无止境##8 小时前
解锁Java分布式魔法:CAP与BASE的奇幻冒险
java·开发语言·分布式