上街网站建设完成后就正式上线了,在网站运营过程中,如果你用的是虚拟主机,可能遇到过网站流量超标的情况,我们通过网站流量监控发现,绝大部分的流量消耗都是蜘蛛抓取造成的,那么我们如何屏蔽拦截蜘蛛抓取我们的网站呢?如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。
可以优先考虑将网站改版为静态页面的,静态文件都是有缓存的。如果不想在网站方面作出改动,可以使用空间的伪静态规则来进行拦截。
上街网站建设完成后就正式上线了,在网站运营过程中,如果你用的是虚拟主机,可能遇到过网站流量超标的情况,我们通过网站流量监控发现,绝大部分的流量消耗都是蜘蛛抓取造成的,那么我们如何屏蔽拦截蜘蛛抓取我们的网站呢?如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。
可以优先考虑将网站改版为静态页面的,静态文件都是有缓存的。如果不想在网站方面作出改动,可以使用空间的伪静态规则来进行拦截。