robots.txt 不是门禁:RFC 9309 规则、缓存与 Python 爬虫的 10 个边界

robots.txt 不是门禁:RFC 9309 规则、缓存与 Python 爬虫的 10 个边界

爬虫启动前,经常有人问"robots.txt 能不能爬"。更准确的说法是:它是站点公开给自动客户端的访问约定,不是登录鉴权,也不是防火墙。RFC 9309 将 Robots Exclusion Protocol 定义为服务方控制爬虫访问 URI 的规则,并明确这些规则不是访问授权。

本文用离线合成的 robots.txt 做 5 项检查,重点讲清 user-agent 分组、Allow/Disallow 的最长匹配、文件不可用和缓存边界。没有访问任何真实站点,也没有据此推断某个站点的抓取许可。

1. 文件放在哪里

RFC 9309 要求规则位于服务顶层、全小写的 /robots.txt,内容使用 UTF-8 和 text/plain。例如:

text 复制代码
https://example.test/robots.txt

规则只对对应 authority 生效。example.test/robots.txt 的规则不能直接套到 api.example.test,也不能把一个站点的 robots 文件当成所有域名的统一配置。

2. user-agent 是分组匹配

一个最小文件可以这样写:

text 复制代码
User-agent: *
Disallow: /private
Disallow: /tmp/
Allow: /private/public

User-agent: DemoBot
Disallow: /
Allow: /public

* 是通配组;更具体的 user-agent 组需要按实现和协议规则选择。不要看到"有一条 Allow"就全站放行,也不要把 User-agent: DemoBot 当成 HTTP 身份认证。它只是爬虫声明自己使用的标识。

3. 最长匹配决定具体路径

对 /private/public/x,/private/public 比 /private 更长,所以 Allow 规则覆盖较短的 Disallow;对 /private/a,没有更长的 Allow,仍然禁止。实际实现需要保留原始路径和命中的规则,方便解释一条 URL 为什么被放行或拒绝。

Python 标准库 urllib.robotparser 可以快速处理基础 Disallow,但本机 Python 3.13.13 实验显示它没有按 RFC 9309 的 Allow 例外得到预期结果:同一个文件里 /private/public 仍被判为禁止。因此不能只看 API 名称就宣称"完全兼容 RFC";如果业务依赖 Allow 和最长匹配,应选经过核验的实现或明确编写并测试规则引擎。

4. 本地 5 项实验

保存为 robots_demo.py 运行,环境是 macOS arm64、Python 3.13.13。实验同时保留标准库结果和一个仅针对上述固定规则的最长匹配实现:

text 复制代码
stdlib_private_block=PASS
rfc_longest_match_allow=PASS
rfc_longest_match_block=PASS
rfc_tmp_block=PASS
stdlib_allow_gap_documented=PASS
checks=5
stdlib_allow_gap=urllib.robotparser on this Python ignores Allow; use a standards-aware parser or implement the rule deliberately
environment={"python": "3.13.13", "platform": "macOS-27.2-arm64-arm-64bit-Mach-O"}

最后一项不是"标准库正确通过",而是把差异明确记录下来,防止把库的行为误称为协议行为。

5. 获取失败时不能写成"允许"

RFC 9309 区分成功、重定向、不可用、不可达和解析错误。成功下载后应遵守可解析规则;重定向应按规范处理;文件暂时不可达时,是否沿用缓存需要和错误策略一起设计。协议还建议缓存 robots.txt 不超过 24 小时,除非文件不可达。

工程上至少记录:请求 URL、状态码、最终 URL、响应编码、抓取时间、缓存命中与命中的规则。把超时、DNS 失败或 5xx 直接当成"没有限制"会造成意外访问;把所有异常都永久当成"全站禁止"又会让恢复困难。根据你的合规策略选择 fail-closed 或人工复核,不能伪造一个"官方默认值"。

6. robots.txt 不是安全措施

RFC 9309 明确指出,robots.txt 不是访问控制。文件本身公开,写进其中的路径也会被发现。需要保护内容时仍要使用鉴权、签名 URL、网络策略或服务端授权;不要把密钥目录、备份路径当作"写进 Disallow 就安全"。

参考:RFC 9309 Robots Exclusion Protocol。本文由 AI 辅助整理,示例数据为合成内容,实验结果为本机实际运行结果。

相关推荐
prince_zxill4 分钟前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
Thanks_ks2 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP2 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
yiangL_2 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula8883 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台4 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
DKPT5 小时前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python
2401_868534785 小时前
逻辑网络设计
网络·python
2601_967979126 小时前
python如何组织文件?python文件操作全介绍!
python·文件操作·压缩文件·遍历文件夹·shutil模块
青少儿编程课堂6 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛