爬虫学习笔记之Robots协议相关整理

定义

Robots协议也称作爬虫协议、机器人协议,全名为网络爬虫排除标准,用来告诉爬虫和搜索引擎哪些页面可以爬取、哪些不可以。它通常是一个叫做robots.txt的文本文件,一般放在网站的根目录下。

robots.txt文件的样例

  • 对有所爬虫均生效,只能爬取public目录
html 复制代码
User-agent:*
Disallow:/
Allow:/public/
  • 禁止所有爬虫访问所有目录
html 复制代码
User-agent:*
Disallow:/
  • 允许所有爬虫访问所有目录
html 复制代码
User-agent:*
Disallow:
  • 禁止所有爬虫访问网站某些目录也可以写做
html 复制代码
User-agent:*
Disallow:/private/
Disallow:/tmp/
  • 只允许某一个爬虫访问所有目录
html 复制代码
User-agent:WebCrawler
Disallow:
User-agent:*
Disallow:/

一些常见的爬虫名称

robotparser使用

该模块提供了一个类:RobotFileParser,它可以根据某网站的robots.txt文件判断一个爬虫是否有权限爬取这个网页。

RobotFileParser类的常用方法

  • set_url:用来设置robots.txt文件的链接。
  • read:读取robots.txt文件进行分析。
  • parse:用来解析robots.txt文件
  • can_fetch:该方法有两个参数,第一个是User-Agent,第二个是要抓取的URL。返回结果是True或者False,表示User-Agent指示的搜索引擎是否可以抓取这个URL。
  • mtime:返回上次抓取和分析robots.txt文件的时间。
  • modified:它对长时间分析和抓取的搜索爬虫很有帮助,可以将当前时间设置为上次抓取和分析robots.txt文件的时间

代码示例

html 复制代码
from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url("http://www.baidu.com/robots.txt")
rp.read()

print(rp.can_fetch("Baiduspider", "http://www.baidu.com"))
print(rp.can_fetch("Baiduspider", "http://www.baidu.com/homepage/"))
print(rp.can_fetch("Googlebot", "http://www.baidu.com/homepage/"))
  • 这里能看到,Googlebot是被严格禁止了的,所以为false

以上,便是robots协议的学习笔记整理,来源于当前正在看的一本书--《Python3网络爬虫开发实战》。后面会持续学习并整理的。

感谢阅读~

相关推荐
叫我:松哥2 小时前
python案例:基于python 神经网络cnn和LDA主题分析的旅游景点满意度分析
人工智能·python·神经网络·数据挖掘·数据分析·cnn·课程设计
小Tomkk2 小时前
使用 Trea cn 设计 爬虫程序 so esay
爬虫·trae cn
2202_756749693 小时前
01 基于sklearn的机械学习-机械学习的分类、sklearn的安装、sklearn数据集及数据集的划分、特征工程(特征提取与无量纲化、特征降维)
人工智能·python·机器学习·分类·sklearn
王者鳜錸3 小时前
PYTHON从入门到实践-18Django从零开始构建Web应用
前端·python·sqlite
冗量3 小时前
PPT自动化 python-pptx - 8: 文本(text)
python·自动化·powerpoint
超级晒盐人4 小时前
用落霞归雁的思维框架推导少林寺用什么数据库?
java·python·系统架构·学习方法·教育电商
AI_RSER4 小时前
第一篇:【Python-geemap教程(三)上】3D地形渲染与Landsat NDVI计算
开发语言·python·3d·信息可视化·遥感·gee
WSSWWWSSW5 小时前
Python编程基础与实践:Python循环结构基础
开发语言·python
im_AMBER5 小时前
学习日志25 python
开发语言·python·学习
Blossom.1186 小时前
基于深度学习的医学图像分析:使用DeepLabv3+实现医学图像分割
人工智能·python·深度学习·yolo·目标检测·机器学习·迁移学习