Unknown robot (identified by 'spider')是什么蜘蛛？一般的蜘蛛都会在后台控制面板中显示名字，例如baidu，google，yahoo，alexa等等，但是如果你用的虚拟主机是cpanel的控制面板，那么发现Unknown robot (identified by 'spider')这个蜘蛛消耗很大的网站流量，那么可以确定这个是百度蜘蛛，因为cpanel的控制面板默认是不识别百度蜘蛛的，所以就会显示为Unknown robot (identified by 'spider')。而且通过robots.txt是无法禁止这个蜘蛛抓取网站内容的。