Awstats是一个非常强大的网站日志分析工具,在虚拟主机中一般都有提供。通过网站的日志分析可以查看网站的一些基本信息,网站的流量分析。其中有一项是网站蜘蛛访问情况,我们可以查看Robots/Spiders visitors (Top 10)前十名,也可以查看所有蜘蛛列表,而且有蜘蛛访问时间,抓取链接数量,消耗流量信息等。
各大搜索引擎的蜘蛛对网站抓取,然后在搜索中提供检索,这样就可以给网站带来很多流量,但是...
用robots文件屏蔽垃圾搜索蜘蛛减少服务器压力
蜘蛛为了采集网站数据,有时候会消耗网站很大的流量,对服务器的压力很大,有些服务器承担不了压力,直接导致网站无法打开,提示502 bad gateway,国内百度,360,搜狗蜘蛛,神马搜索指数,除了这些蜘蛛,其他国外的蜘蛛基本对国内网站用处不大,所以可以通过服务器网站robots.txt文件进行屏蔽。文件内容如下,在文件内容下添加:
User-agent: ubot
Disallow: /
User-agent: spider
Disallow: /
User-a...