Python爬虫之requests(二)
前面演示了requests模块的四种请求方式。接下来再来演示下综合的练习。
一、requests模块综合练习
- 需求:爬取搜狗知乎某一个词条对应的某个范围页码表示的页面数据。
点开搜狗首页,有一个知乎的版块。
搜过框搜索可以看到很多页面词条。
我们的要求就是爬取这些页码的比如1-3页数据。
之前案例都是获取单个页面数据,而这里是多个页面数据。
python
import requests
import os
#创建文件夹
if not os.path.exists("./pages"):
os.mkdir("./pages")
#指定URL,思考一下,三个页码就要指定三个url吗,那三百个岂不是要300条url
#原url = "https://www.sogou.com/sogou?query=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD&pid=sogou-wsse-ff111e4a5406ed40&insite=zhihu.com&aria=0&sut=2057&sst0=1727143354044&lkt=1%2C1727143353930%2C1727143353930&sessiontime=1727143270719&page=2&ie=utf8"
#删除不必要的参数随后测试,发现上述url和下面简化的url是一样的页面。这里可以看到page=2就是页面2,那么page就是确定页面的参数了
#设计为通用URL
#url = "https://www.sogou.com/sogou?query=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD&insite=zhihu.com&page=2&ie=utf8"
#指定url
url = "https://www.sogou.com/sogou?"
#封装请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
#外界获取搜索参数
word = input("请输入您想搜索的数据:")
#定位页码
start_page = int(input("您想查询从那一页开始的页码:"))
end_page = int(input("您想到哪一些查询结束:"))
#利用循环,左闭右开区间,所以要加1。
#比如用户数据1-3页。start_page=1,end_page=3。
#for循环的range(1,4)。那么会循环3次,第一个page=1,第二次page=2,第三次page=3
for page in range(start_page, end_page+1):
#封装参数
param = {
"query": word,
"insite": "zhihu.com",
"page": page,
"ie": "utf-8"
}
#发起请求:
response = requests.get(url=url,params=param,headers=headers)
#获取响应页面数据(指定页码的数据page)
page_text = response.text
#持久化存储
fileName = word+str(page)+".html"
filePath = "pages/"+fileName
with open(filePath,"w",encoding="utf-8") as f:
f.write(page_text)
print(f"文件第{page}页数据写入成功!")
类似的,可以再试试爬取贴吧:
python
import requests
import os
#创建文件夹
if not os.path.exists("text"):
os.mkdir("text")
#用户输入词条
page_citiao = input("您想搜索什么词条呢?")
#用户输入页码数据
start_page = int(input("你想搜索从哪个开始的页码的数据:"))
end_page = int(input("你想搜索从哪个开始的页码的数据:"))
#初始url
# url = "https://tieba.baidu.com/f?kw=%E5%8E%9F%E7%A5%9E%E5%86%85%E9%AC%BC&ie=utf-8&pn=50"
url = "https://tieba.baidu.com/f?"
#伪装ua
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
#参数拼接
for page in range(start_page,end_page+1):
param = {
"kw": page_citiao,
"ie": "utf-8",
"pn": page
}
response = requests.get(url=url,params=param,headers=headers)
#获取页面数据
page_text = response.text
#持久化存储
fileName = page_citiao + str(page) + ".html"
filePath = "./text/" + fileName
with open(filePath,"w",encoding="utf-8") as f:
f.write(page_text)
print(f"写入第{page}页成功!")
二、requests模块高级之cookie操作
- cookie:
基于用户的数据- 需求:爬取张三用户的豆瓣网个人主页页面数据
- cookie作用: 服务器端使用cookie来记录客户端的状态信息
流程:
1、执行登录操作(获取cookie)
2、在发起个人主页请求时,需要将cookie携带到该请求中
注意---> session对象:发送请求(会将cookie对象自动存储),第一次发送session请求之后,cookie就会自动存储到session里,那么第二次个人主页请求携带cookie,服务器端就能识别到cookie,返回个人主页数据。
python
import requests
#创建seesion,requests模块有一个session方式,用它就能创建session请求
session = requests.session()
#发起登录请求获取cookie,存储到session对象中(当然要发起session请求才能将cookie存储到session中)
login_url = "https://accounts.douban.com/login"
#伪装ua
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
data = {
"source": None,
"redir": "https://accounts.douban.com/login",
"form_email": "",
"form_password": "",
"login": "登陆"
}
#使用session发起请求,第一次发起session是为了获取cookie,所以不需要此页面数据。
login_response = session.post(url=login_url,data=data,headers=headers)
#对个人主页发起请求,获取响应页面数据(session里已经携带cookie)
url = "https://www.douban.com/people/230085989/?"
param = {
"_i": "7151806ehwFyC0"
}
#获得响应对象
response = session.get(url=url,params=param,headers=headers)
page_text = response.text
#持久化存储
with open("douban110.html","w",encoding="utf-8") as f:
f.write(page_text)
其实爬虫程序就是遵从浏览器的请求流程。
三、requests模块高级之代理操作
-
代理操作:
- 代理:第三方代理本体执行相关事务。生活:代购,微商,中介...
- 为什么要使用代理?
反爬操作。
使用代理是一种反反爬手段 - 分类:
正向代理:代替客户端获取数据
反向代理:代替服务器端提供数据 - 免费代理ip的网站提供商
python
import requests
#首先百度查找自己的ip,拿取url
url = "http://ip.900cha.com/"
#ua伪装
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
#代理ip封装
proxy = {
"http": "117.42.94.223:16388"
}
#更换网络ip,
response = requests.get(url=url,proxies=proxy,headers=headers)
with open("./daili.html","w",encoding="utf-8") as f:
f.write(response.text)
好像有点点问题,代理ip不好找。。。(mark一下之后再改)