技术栈
robots协议
给我杯冰美式
7 个月前
robots协议
Web---robots协议详解
在Web中,robots协议(也称为robots.txt)是一种文本文件,用于向搜索引擎机器人(通常称为爬虫)提供指导,以指示它们哪些页面可以抓取,哪些页面应该忽略。robots.txt文件位于网站的根目录下,并告知搜索引擎哪些页面可以被爬取,哪些页面应该被忽略。