爬虫知识--02

糖果爱上我2024-02-22 3:02

免费代理池搭建

代理有免费和收费代理

代理有http代理和https代理

匿名度：

高匿：隐藏访问者ip

透明：服务端能拿到访问者ip

作为后端，如何拿到使用代理人的ip

请求头中：x-forword-for

如一个 HTTP 请求到达服务器之前，经过了三个代理 Proxy1、Proxy2、Proxy3，IP 分别为 IP1、IP2、IP3，用户真实IP为IP0，那么按照XFF标准，服务端最终会收到以下信息：

X-Forwarded-For: IP0, IP1, IP2

如果拿IP3，remote-addr中

搭建免费代理池：

++https://github.com/jhao104/proxy_pool++

使用python，爬取免费的代理，解析出ip和端口，地区，存到库中

使用flask，搭建了一个web服务，只要向 /get 发送一个请求，他就随机返回一个代理ip

步骤：

1、把项目下载下来

2、安装依赖，虚拟环境 ++pip install -r requirements.txt++

3、修改配置文件

DB_CONN = 'redis://127.0.0.1:6379/2'

4、启动爬虫：++python proxyPool.py schedule++

5、启动web服务：++python proxyPool.py server++

6、以后访问：http://127.0.0.1:5010/get/ 可以拿到随机的免费ip

7、使用代码：

python 复制代码 
import requests

res = requests.get('http://192.168.1.51:5010/get/?type=https').json()
print(res['proxy'])

# 访问某个代理
res1=requests.get('https://www.baidu.com',proxies={'http':res['proxy']})
print(res1)

项目下载：

代理池使用

使用django写个项目，只要一访问，就返回访问者ip

编写步骤：

1、编写django项目，写一个视图函数：

python 复制代码 
def index(request):
    ip=request.META.get('REMOTE_ADDR')
    return HttpResponse('您的ip 是：%s'%ip)

2、配置路由：

python 复制代码 
from app01.views import index
urlpatterns = [
     path('', index),
]

3、删除settings.py 中的数据库配置

4、把代码上传到服务端，运行djagno项目

python3.8 manage.py runserver 0.0.0.0:8080

5、本地测试：

python 复制代码 
import requests
res=requests.get('http://127.0.0.1:5010/get/?type=http').json()
print(res['proxy'])
res1=requests.get('http://47.113.229.151:8080/',proxies={'http':res['proxy']})
print(res1.text)

爬取某视频网站

注意：

1 发送ajax请求，获取真正视频地址

2 发送ajax请求时，必须携带referer

3 返回的视频地址，需要处理后才能播放

python 复制代码 
import requests
import re

res = requests.get('https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=1&start=0')
# print(res.text)
# 解析出所有视频地址---》re解析
video_list = re.findall('<a href="(.*?)" class="vervideo-lilink actplay">', res.text)
for video in video_list:
    real_url = 'https://www.pearvideo.com/' + video
    video_id = video.split('_')[-1]
    # 必须携带referer，referer是视频详情地址
    # contId  是视频id号
    header={
        'Referer':real_url
    }
    res = requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=%s&mrd=0.05520583472057039'%video_id,headers=header)
    real_mp4_url=res.json()['videoInfo']['videos']['srcUrl']
    mp4 = real_mp4_url.replace(real_mp4_url.split('/')[-1].split('-')[0], 'cont-%s' % video_id)
    print('能播放的视频地址:',mp4)

    # 把视频下载到本地
    res=requests.get(mp4)
    with open('./video/%s.mp4'%video_id,'wb') as f:
        for line in res.iter_content():
            f.write(line)

爬取新闻

解析库：汽车之家

bs4 解析库 pip3 install beautifulsoup4

lxml： pip3 install lxml

爬取所有数据：

python 复制代码 
import requests
from bs4 import BeautifulSoup

res = requests.get('https://www.autohome.com.cn/news/1/#liststart')
print(res.text)

取出文章详情：

python 复制代码 
import requests
from bs4 import BeautifulSoup

res = requests.get('https://www.autohome.com.cn/news/1/#liststart')
print(res.text)

soup = BeautifulSoup(res.text, 'html.parser')  # 解析库
ul_list = soup.find_all(name='ul', class_='article')  # 找到所有 类名是article 的ul标签
for ul in ul_list:  # 查找ul标签下的li标签
    li_list = ul.find_all(name='li')
    for li in li_list:
        h3 = li.find(name='h3')  # 查找li标签下的所有h3标题
        if h3:
            title = h3.text  # 拿出h3标签的文本内容
            content = li.find('p').text  # 拿出li标签下的第一个p标签的文本内容
            url = 'https:' + li.find(name='a').attrs['href']  # .attrs 拿到标签属性
            img = li.find('img')['src']  # 拿出img标签的属性src，可以直接取
            print('''
            文章标题：%s
            文章摘要：%s
            文章url：%s
            文章图片：%s
            ''' % (title, content, url, img))

bs4介绍和遍历文档树

bs4的概念：是解析 xml/html 格式字符串的解析库

不但可以解析（爬虫），还可以修改

解析库：

python 复制代码 
from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" id='id_xx' xx='zz'>lqz <b>The Dormouse's story <span>彭于晏</span></b>  xx</p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
# soup=BeautifulSoup(html_doc,'html.parser')
soup = BeautifulSoup(html_doc, 'lxml')  # pip3 install lxml

1、文档容错能力：

res=soup.prettify()

print(res)

2、遍历文档树： 文档树：html开头 ------html结尾，中间包含了很多标签

print(soup.html.head.title)

3、通过 . 找到p标签 只能找到最先找到的第一个

print(soup.html.body.p)

print(soup.p)

4、获取标签的名称

p = soup.html.body.p

print(p.name)

5、获取标签的属性

p = soup.html.body.p

print(p.attrs.get('class')) # class 特殊，可能有多个，所以放在列表汇总

print(soup.a.attrs.get('href'))

print(soup.a['href'])

6、获取标签的文本内容

python 复制代码 
标签对象.text            # 拿标签子子孙孙
标签对象.string         # 该标签有且只有自己有文本内容才能拿出来
标签对象.strings       # 拿子子孙孙，都放在生成器中
print(soup.html.body.p.b.text)
print(soup.html.body.p.text)
print(soup.html.body.p.string) # 不能有子 孙
print(soup.html.body.p.b.string) # 有且只有它自己

print(soup.html.body.p.strings) # generator 生成器---》把子子孙孙的文本内容都放在生成器中，跟text很像
print(list(soup.html.body.p.strings)) # generator 生成器---》把子子孙孙的文本内容都放在生成器中，跟text很像

7、嵌套选的：

soup.html.body

-----了解-----------：

python 复制代码 
# 子节点、子孙节点
print(soup.p.contents) # p下所有子节点，只拿直接子节点
print(soup.p.children) # 直接子节点 得到一个迭代器,包含p下所有子节点
for i,child in enumerate(soup.p.children):
    print(i,child)

print(soup.p.descendants) #获取子孙节点,p下所有的标签都会选择出来  generator
for i,child in enumerate(soup.p.descendants):
    print(i,child)

# 父节点、祖先节点
print(soup.a.parent) #获取a标签的父节点
print(list(soup.a.parents)) #找到a标签所有的祖先节点，父亲的父亲，父亲的父亲的父亲...

# 兄弟节点
print(soup.a.next_sibling) #下一个兄弟
print(soup.a.previous_sibling) #上一个兄弟

print(list(soup.a.next_siblings)) #下面的兄弟们=>生成器对象
print(soup.a.previous_siblings) #上面的兄弟们=>生成器对象

搜索文档树

解析库：

python 复制代码 
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p id="my_p" class="title"><b id="bbb" class="boldest">The Dormouse's story</b>
</p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'lxml')

五种过滤器: 字符串、正则表达式、列表、True、方法

1、字符串(和)：

python 复制代码 
res=soup.find(id='my_p')
res=soup.find(class_='boldest')
res=soup.find(href='http://example.com/elsie')
res=soup.find(name='a',href='http://example.com/elsie',id='link1',class_='sister') # 多个是and条件
# 可以写成
# res=soup.find(attrs={'href':'http://example.com/elsie','id':'link1','class':'sister'})
# print(res)

2、正则表达式：

python 复制代码 
import re
res=soup.find_all(href=re.compile('^http'))
res=soup.find_all(name=re.compile('^b'))
res=soup.find_all(name=re.compile('^b'))
print(res)

3、列表(或)：

python 复制代码 
res=soup.find_all(name=['body','b','a'])
res=soup.find_all(class_=['sister','boldest'])
print(res)

4、布尔：

python 复制代码 
res=soup.find_all(id=True)
res=soup.find_all(name='img',src=True)
print(res)

5、方法：

python 复制代码 
def has_class_but_no_id(tag):
    return tag.has_attr('class') and not tag.has_attr('id')
print(soup.find_all(has_class_but_no_id))

6、搜索文档树可以结合遍历文档树一起用

python 复制代码 
res=soup.html.body.find_all('p')
res=soup.find_all('p')
print(res)

7、find 和find_all的区别:find 就是find_all，只要第一个

8、recursive=True limit=1

python 复制代码 
res=soup.find_all(name='p',limit=2) # 限制条数
res=soup.html.body.find_all(name='p',recursive=False) # 是否递归查找
print(res)

css选择器

解析库：

python 复制代码 
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p id="my_p" class="title"><b id="bbb" class="boldest">The Dormouse's story</b>
</p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'lxml')

css 选择器：

python 复制代码 
'''
.类名
#id
body
body a
# 终极大招：css选择器，复制
'''
python 复制代码 
res=soup.select('a.sister')
res=soup.select('p#my_p>b')
res=soup.select('p#my_p b')
print(res)


import requests
from bs4 import BeautifulSoup
header={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
res=requests.get('https://www.zdaye.com/free/',headers=header)
# print(res.text)
soup=BeautifulSoup(res.text,'lxml')
res=soup.select('#ipc > tbody > tr:nth-child(2) > td.mtd')
print(res[0].text)

今日思维导图：

相关推荐
秀儿还能再秀32 分钟前
淘宝母婴购物数据可视化分析（基于脱敏公开数据集）
python·数据分析·学习笔记·数据可视化
计算机老学长1 小时前
基于Python的商品销量的数据分析及推荐系统
开发语言·python·数据分析
千益1 小时前
玩转python:系统设计模式在Python项目中的应用
python·设计模式
＆白帝＆1 小时前
Java @PathVariable获取路径参数
java·开发语言·python
Shepherdppz2 小时前
python量化交易——金融数据管理最佳实践——使用qteasy大批量自动拉取金融数据
python·金融·量化交易
互联网杂货铺3 小时前
python+pytest 接口自动化测试：参数关联
自动化测试·软件测试·python·测试工具·职场和发展·测试用例·pytest
筱涵哥3 小时前
Python默认参数详细教程：默认参数位置错误，动态默认值，__defaults__属性，动态默认值处理，从入门到实战的保姆级教程
开发语言·python
yzztin3 小时前
Python 导包和依赖路径问题
python
pk_xz1234563 小时前
介绍如何基于现有的可运行STGCN（Spatial-Temporal Graph Convolutional Network）模型代码进行交通流预测的改动
python
用户8134411823613 小时前
Python基础
python
热门推荐
01如何在WPS和Word/Excel中直接使用DeepSeek功能02DeepSeek各版本说明与优缺点分析03本地部署DeepSeek教程（Mac版本）04从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑05DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具06保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型07DeepSeek RAGFlow构建本地知识库系统08Windows 11 安装 Dify 完整指南 非docker环境09DeepSeek r1本地安装全指南10本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程