【爬虫入门第8讲】Python爬虫反爬入门

Python爬虫反爬入门：从基础防护到进阶策略实战指南

引言

在数据采集的江湖中，爬虫与反爬虫的博弈从未停止。对于初学者而言，最常遇到的并非复杂的验证码或动态渲染页面，而是那些"简单但有效"的反爬机制------比如服务器通过检测请求头、访问频率、登录状态或来源地址来拦截非人类行为。本文将带你系统掌握应对这些基础反爬的Python解决方案，从"加个User-Agent"到"代理IP池"，一步步构建你的反爬工具箱。

一、基础防护解决方案

1.1 伪装身份：User-Agent

服务器首先会检查HTTP请求头中的User-Agent字段，识别请求是否来自浏览器。默认的python-requests/2.x很容易被识别并拒绝。

解决方案：随机切换常见的浏览器UA。

python 复制代码

import requests
from fake_useragent import UserAgent  # pip install fake-useragent

ua = UserAgent()
headers = {'User-Agent': ua.random}
response = requests.get('https://example.com', headers=headers)

如果不想安装第三方库，也可以手动维护一个UA列表：

python 复制代码

user_agents = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36',
# ... 更多UA
]
headers = {'User-Agent': random.choice(user_agents)}

1.2 控制节奏：随机请求间隔

高频请求是触发反爬的常见原因。服务器通过统计IP在单位时间内的请求次数，超过阈值则封禁。

解决方案：在每次请求之间加入随机延时。

python 复制代码

import time
import random

def fetch_with_delay(url, headers, min_delay=1, max_delay=3):
    time.sleep(random.uniform(min_delay, max_delay))
    return requests.get(url, headers=headers)

更优雅的方式是使用time.sleep结合指数退避策略，当遇到429状态码时自动增加等待时间。

1.3 登录态维持：Cookie与Session

许多网站需要登录才能访问数据。手动登录后获取Cookie，或者使用requests.Session自动管理Cookie。

方法一：手动携带Cookie

python 复制代码

cookies = {'sessionid': 'your_session_id', 'csrftoken': 'your_token'}
response = requests.get(url, headers=headers, cookies=cookies)

方法二：使用Session模拟登录

python 复制代码

session = requests.Session()
# 先发送登录请求
login_data = {'username': 'your_account', 'password': 'your_password'}
session.post('https://example.com/login', data=login_data, headers=headers)
# 后续请求自动携带登录态
response = session.get('https://example.com/protected-page')

1.4 来源伪装：Referer防盗链

某些资源（如图片、视频）会检查Referer字段，只允许从特定域名访问。例如，很多图床禁止外链。

解决方案：在请求头中添加正确的Referer。

python 复制代码

headers['Referer'] = 'https://www.example.com/source-page'
response = requests.get('https://cdn.example.com/image.jpg', headers=headers)

如果目标资源来自某个页面，通常将Referer设置为该页面的URL即可。

二、进阶基础：应对IP封禁与请求会话

2.1 代理IP的使用（IP被封禁的解决方案）

当单个IP请求频率过高或触发风控，服务器会直接封禁该IP。此时需要代理IP轮换。

免费代理的局限性：可用性低、速度慢、容易被反爬识别。建议使用付费代理服务（如快代理、芝麻代理）或自建代理池。

基本用法：

python 复制代码

proxies = {
'http': 'http://user:pass@ip:port',
'https': 'https://user:pass@ip:port'
}
response = requests.get(url, headers=headers, proxies=proxies, timeout=5)

进阶：自动轮换代理池

python 复制代码

import random

proxy_list = [
    'http://proxy1:port',
    'http://proxy2:port',
    # ...
]

def get_random_proxy():
    proxy = random.choice(proxy_list)
    return {'http': proxy, 'https': proxy}

response = requests.get(url, headers=headers, proxies=get_random_proxy())

2.2 请求会话保持：requests.Session()

requests.Session()不仅用于登录态管理，还能自动保持连接池、复用TCP连接，提高效率。更重要的是，它可以维持一些服务器返回的Cookie（如sessionid、csrf_token），避免每次请求都重新认证。

典型场景：爬取需要分页且每页都校验Cookie的网站。

python 复制代码

session = requests.Session()
session.headers.update({'User-Agent': ua.random})

# 第一次请求获取初始Cookie
session.get('https://example.com')

# 后续请求自动携带Cookie
for page in range(1, 11):
    response = session.get(f'https://example.com/page/{page}')
    # 处理数据...

Session的妙用 ：结合requests.adapters.HTTPAdapter可以配置重试策略，自动处理临时性错误。

python 复制代码

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(total=3, backoff_factor=0.5, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

三、综合实战：一个完整的反爬示例

假设我们要爬取一个需要登录的论坛帖子列表，该网站有以下反爬措施：

检测User-Agent
限制请求频率（每秒最多2次）
需要登录才能访问帖子详情
图片有Referer防盗链
偶尔会封禁IP

代码框架：

python 复制代码

import requests
import time
import random
from fake_useragent import UserAgent

class ForumCrawler:
    def __init__(self, proxy_pool=None):
        self.session = requests.Session()
        self.ua = UserAgent()
        self.proxy_pool = proxy_pool or []
        self.min_delay = 0.5
        self.max_delay = 1.5
        
    def _get_headers(self, referer=None):
        headers = {'User-Agent': self.ua.random}
        if referer:
            headers['Referer'] = referer
        return headers
    
    def _get_proxy(self):
        if not self.proxy_pool:
            return None
        proxy = random.choice(self.proxy_pool)
        return {'http': proxy, 'https': proxy}
    
    def login(self, username, password):
        login_url = 'https://example.com/login'
        data = {'username': username, 'password': password}
        self.session.post(login_url, data=data, headers=self._get_headers())
        # 检查登录是否成功
        if '登录成功' in self.session.get('https://example.com/').text:
            print('登录成功')
        else:
            raise Exception('登录失败')
    
    def fetch_page(self, url, referer=None):
        time.sleep(random.uniform(self.min_delay, self.max_delay))
        headers = self._get_headers(referer)
        proxy = self._get_proxy()
        try:
            response = self.session.get(url, headers=headers, proxies=proxy, timeout=10)
            response.raise_for_status()
            return response.text
        except requests.exceptions.RequestException as e:
            print(f'请求失败: {e}')
            return None
    
    def crawl(self, start_url, pages=5):
        # 先登录
        self.login('your_username', 'your_password')
        for i in range(1, pages+1):
            url = f'{start_url}?page={i}'
            html = self.fetch_page(url, referer=start_url)
            if html:
                # 解析数据...
                pass

使用建议：

将代理IP池配置为外部参数，方便动态更新。
根据实际反爬强度调整延时范围。
对于图片等资源，单独设置Referer为包含该图片的页面URL。

四、总结与注意事项

4.1 反爬策略的层次

反爬手段	应对方案	优先级
User-Agent检测	随机UA	必须
请求频率限制	随机延时	必须
登录验证	Session/Cookie	视情况
Referer防盗链	添加Referer	视情况
IP封禁	代理IP	进阶

4.2 法律与道德红线

遵守robots.txt：尊重网站的爬虫协议，不要爬取禁止访问的路径。
控制频率：即使有代理，也不要对同一服务器发起洪水般请求。
不爬取个人隐私数据：如用户密码、手机号、身份证等。
不用于商业竞争：未经授权爬取竞品数据可能涉及不正当竞争。

4.3 进一步学习方向

动态渲染页面：Selenium、Playwright、Pyppeteer
验证码识别：OCR、打码平台、机器学习
请求签名破解：逆向分析JS加密逻辑
分布式爬虫：Scrapy-Redis、Celery

写在最后：反爬技术是爬虫工程师的必修课，但真正的智慧在于平衡------既要获取所需数据，又要做互联网生态的友好参与者。希望本文能帮你迈出坚实的第一步。