反爬虫策略是网站用于防止自动化程序（爬虫）恶意抓取数据的核心手段，其设计需兼顾有效性、用户体验和合法性。
一、 基础检测与拦截
- User-Agent检测：验证请求头中的User-Agent，拦截非常见或已知爬虫标识。
- IP频率限制：监控同一IP的请求频率，过高时触发封禁或验证码。
- 请求头完整性检查：验证Accept-Language、Referer等字段是否缺失或异常。
二、动态交互验证
1、验证码（CAPTCHA）：
- 图片、滑动拼图、计算题等传统验证码。
- 无感验证（如Google reCAPTCHA v3）通过用户行为评分判断风险。
2、行为分析：
- 检测鼠标轨迹、点击间隔、页面停留时间等人类特征。
- 使用机器学习模型识别异常流量模式（如匀速请求）。
三、 前端动态化与混淆
1、JavaScript渲染：数据通过AJAX动态加载，迫使爬虫使用无头浏览器（如Puppeteer）。
2、浏览器指纹检测：
- 检查navigator属性（WebGL、字体、时区）。
- 检测自动化工具特征（如window.chrome属性）。
3、数据混淆：
- 使用CSS偏移（数字隐藏在随机位置）。
- 自定义字体映射（如数字显示为特殊Unicode）。
- 关键信息转为图片或Canvas渲染。
四、 动态页面技术
- Token机制：每次请求需携带动态生成的Token（如CSRF Token），并在后端验证时效性。
- HTML结构随机化：页面DOM元素ID或类名动态变化，增加解析难度。
- 接口加密：API返回数据使用动态密钥加密，需逆向JS解密逻辑。
五、高级对抗策略
1、蜜罐陷阱（Honeypot）：
- 插入隐藏链接（CSS设为display:none），正常用户不可见，爬虫触发后封禁。
- 添加虚假表单字段诱导爬虫填写。
2、请求链路验证：
- 验证请求顺序（如先访问首页再跳转详情页）。
- 检查Cookie连贯性（如登录态必须由特定步骤生成）。
六、法律与协议约束
1、Robots协议：通过robots.txt声明禁止爬取的目录，但依赖爬虫遵守。
2、服务条款：在用户协议中明确禁止数据抓取，保留法律追责权利。
3、API访问控制：
- 限制API调用频率（如OAuth 2.0配额）。
- 要求身份认证（如API Key或OAuth令牌）。
七、 分布式防御与监控
- Web应用防火墙（WAF）：集成行为分析规则，实时拦截恶意流量。
- IP信誉库：对接第三方威胁情报，拦截已知恶意IP段。
- 日志分析与告警：监控异常流量模式（如大量404错误），触发人工排查。
平衡策略与注意事项
- 用户体验：避免频繁验证码或复杂交互导致用户流失。
- 性能开销：动态渲染或加密可能增加服务器负载，需优化实现。
- 合法性：遵守隐私法规（如GDPR），避免过度收集用户数据。
对抗升级：爬虫的常见应对
- IP代理池：轮换IP规避封禁。
- 请求随机化：模拟人类操作间隔，伪造完整请求头。
- 无头浏览器+自动化框架：使用Selenium、Playwright绕过JS检测。
- OCR破解：识别图片验证码或混淆数据。
反爬虫是一场持续攻防战，需根据业务场景动态调整策略。建议采用分层防御（如基础规则+AI模型），并结合业务日志持续优化规则，同时预留人工审核通道处理误拦截。