python爬虫(10)之get()函数

1、headers

用于设置请求包中的请求头信息(在很多网站会在那个请求包头加一层验证来防止他人爬取数据)

当然前面已经讲过它是在哪里找

2、params

是用于模拟在发送动态请求时携带动态参数这种常用于那种在搜索框来进行爬取的行为

3、timeout

设置超时的时间,然后requests模块会默认发起请求(主要是为了防止那些网络问题引起的爬虫失败)

4、proxies

设置代理服务器(在某些网站还会限制同一IP地址大量访问,所以会有代理服务器这一方法出现)。

相关推荐
大神薯条老师3 小时前
Python从入门到高手4.3节-掌握跳转控制语句
后端·爬虫·python·深度学习·机器学习·数据分析
wdxylb11 小时前
Pyhton爬虫使用Selenium实现浏览器自动化操作抓取网页
爬虫·selenium·测试工具
菜鸡中的奋斗鸡→挣扎鸡1 天前
初始爬虫11
开发语言·爬虫·python
凡人的AI工具箱1 天前
15分钟学 Python 第35天 :Python 爬虫入门(一)
开发语言·数据结构·人工智能·后端·爬虫·python
新缸中之脑1 天前
ScrapeGraphAI 大模型增强的网络爬虫
爬虫
易辰君1 天前
python爬虫 - 初识爬虫
开发语言·爬虫·python
人生の三重奏1 天前
爬虫——同步与异步加载
爬虫·jsonpath·同步与异步·腾讯新闻
人生の三重奏2 天前
爬虫——爬取小音乐网站
爬虫
能摆一天是一天2 天前
Python 爬虫 根据ID获得UP视频信息
开发语言·爬虫·python·selenium
NPE~3 天前
爬虫入门 & Selenium使用
爬虫·python·selenium·测试工具·xpath