robots协议 - robots协议技术,学习,经验文章

给我杯冰美式

2 年前

Web---robots协议详解在Web中，robots协议（也称为robots.txt）是一种文本文件，用于向搜索引擎机器人（通常称为爬虫）提供指导，以指示它们哪些页面可以抓取，哪些页面应该忽略。robots.txt文件位于网站的根目录下，并告知搜索引擎哪些页面可以被爬取，哪些页面应该被忽略。