最近在用AWStats检查网站的时候，在Robots/Spiders visitors一项中发现第一名的蜘蛛是一个叫oBot的蜘蛛，蜘蛛就是搜索引擎抓取网页的一个工具。这个oBot蜘蛛每天都会来网站抓取数据，而且数据量非常大，都是上G大小的抓取。不过还好抓取的时间基本都是在凌晨，这个时候服务器的负载是比较小的。目前没有发现服务器扛不住导致网站无法访问的情况。
网站搜索了一下这个oBot蜘蛛，这个oBot 是 IBM Germany...
屏蔽AWStats中发现的垃圾蜘蛛oBot的方法