以前在建站的时候，他们说蜘蛛来抓取的频率越多越好，因为蜘蛛来抓取说明了网站更新速度快，受搜索引擎的欢迎，但是在最近的网站统计中，发现很多蜘蛛爬取的频次非常的高，比如有的蜘蛛一天能来网站几万次，要知道网站的带宽是有限制的，比如很多网站的带宽只有几M，这就像一个大门一样，如果很多人往里面挤，肯定是挤不进来的，如果蜘蛛大量的访问，势必导致正常访问的用户被挡在门外，或者访问速度会受到限制，影响正常的业务访问。
因此，我们不能任由蜘蛛频繁的抓取，那么怎么办呢？一般情况下有这三种方案：
1、不想让蜘蛛抓取的目录，在robots里面屏蔽。
2、通过各大搜索引擎站长平台对蜘蛛的抓取次数进行限制，如果网站每天更新大量的内容，可以适当放宽蜘蛛的抓取次数，如果访问不高，可以限制在几千以内就可以了。
3、对于不想让某些蜘蛛抓取的，可以直接在robots屏蔽这个蜘蛛。
还有一些蜘蛛是假蜘蛛，他们会冒充真蜘蛛对网站进行大量的抓取，这个时候就要对网站部署合适的防火墙等，筛选出假蜘蛛进行屏蔽。
在做了以上的步骤以后，我们就能将蜘蛛的抓取控制在一个合理的范围，既不影响蜘蛛的抓取，也不影响正常的用户访问。