目录

爬虫学习笔记之Robots协议相关整理

定义

Robots协议也称作爬虫协议、机器人协议,全名为网络爬虫排除标准,用来告诉爬虫和搜索引擎哪些页面可以爬取、哪些不可以。它通常是一个叫做robots.txt的文本文件,一般放在网站的根目录下。

robots.txt文件的样例

  • 对有所爬虫均生效,只能爬取public目录
html 复制代码
User-agent:*
Disallow:/
Allow:/public/
  • 禁止所有爬虫访问所有目录
html 复制代码
User-agent:*
Disallow:/
  • 允许所有爬虫访问所有目录
html 复制代码
User-agent:*
Disallow:
  • 禁止所有爬虫访问网站某些目录也可以写做
html 复制代码
User-agent:*
Disallow:/private/
Disallow:/tmp/
  • 只允许某一个爬虫访问所有目录
html 复制代码
User-agent:WebCrawler
Disallow:
User-agent:*
Disallow:/

一些常见的爬虫名称

robotparser使用

该模块提供了一个类:RobotFileParser,它可以根据某网站的robots.txt文件判断一个爬虫是否有权限爬取这个网页。

RobotFileParser类的常用方法

  • set_url:用来设置robots.txt文件的链接。
  • read:读取robots.txt文件进行分析。
  • parse:用来解析robots.txt文件
  • can_fetch:该方法有两个参数,第一个是User-Agent,第二个是要抓取的URL。返回结果是True或者False,表示User-Agent指示的搜索引擎是否可以抓取这个URL。
  • mtime:返回上次抓取和分析robots.txt文件的时间。
  • modified:它对长时间分析和抓取的搜索爬虫很有帮助,可以将当前时间设置为上次抓取和分析robots.txt文件的时间

代码示例

html 复制代码
from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url("http://www.baidu.com/robots.txt")
rp.read()

print(rp.can_fetch("Baiduspider", "http://www.baidu.com"))
print(rp.can_fetch("Baiduspider", "http://www.baidu.com/homepage/"))
print(rp.can_fetch("Googlebot", "http://www.baidu.com/homepage/"))
  • 这里能看到,Googlebot是被严格禁止了的,所以为false

以上,便是robots协议的学习笔记整理,来源于当前正在看的一本书--《Python3网络爬虫开发实战》。后面会持续学习并整理的。

感谢阅读~

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
小白—人工智能2 分钟前
数据可视化 —— 柱形图应用(大全)
python·信息可视化·数据可视化
熊大如如19 分钟前
用 Python 从零构建异步回显服务器
服务器·python·asyncio
意.远27 分钟前
批量归一化(Batch Normalization)原理与PyTorch实现
人工智能·pytorch·python·深度学习·神经网络·分类·batch
Love绘梨衣的Mr.lu34 分钟前
【benepar】benepar安装会自动更新pytorch
人工智能·pytorch·python
芬兰y37 分钟前
使用Apache POI(Java)创建docx文档和表格
java·python·apache
mengyoufengyu43 分钟前
jupyter4.4安装使用
python·jupyterlab
蹦蹦跳跳真可爱58943 分钟前
Python----机器学习(基于PyTorch的蘑菇逻辑回归)
开发语言·人工智能·pytorch·python·机器学习·逻辑回归
Y1nhl1 小时前
力扣hot100_技巧_python版本
开发语言·python·算法·力扣
eqwaak01 小时前
MySQL 超详细安装教程与常见问题解决方案
数据库·python·mysql·adb·语言模型
这里有鱼汤1 小时前
我用Python写了个实时板块资金热力图 🎨💰
python