Unknown robot (identified by ‘spider’)蜘蛛占用大量流量
网站流量被Unknown robot (identified by 'spider')占用了好几个G,这个蜘蛛也没有任何标示,我很奇怪这个蜘蛛为什么会占这么大的流量,类似的蜘蛛还有Unknown robot (identified by 'bot*'),Unknown robot (identified by empty user agent string),不知道这个是不是某些网站监控程序导致的,解决方法可以暂时通过主机禁止这个ip访问,或者robots.txt禁止相应的蜘蛛访问。
评论已关闭!