运用谷歌浏览器的开发者工具，模拟搜索引擎蜘蛛抓取网页

第一步：按压键盘上的F12键打开开发这工具，并点击右上角三个小黑点

第二步：选择More tools

第三步：选择Network conditions

第四步：找到User agent一列，取消复选框的勾选

第五步：选择谷歌爬虫agent即Googlebot

第六步：在当前浏览器地址栏中，输入想要访问的网站地址，直接访问。返回的页面就是爬虫看到的页面。