屏蔽神马搜索蜘蛛YisouSpider减轻网站压力的方法

屏蔽神马搜索蜘蛛YisouSpider减轻网站压力的方法
YisouSpider看名字应该是一搜这个搜索引擎的蜘蛛，一搜这个名字现在已经很难见到的，一搜最早是由雅虎中国于2004年创建的，在阿里巴巴收购雅虎中国后归到了神马搜索旗下，所以神马搜索的蜘蛛名字就成了YisouSpider，目前神马搜索只有移动端，PC端暂时没有提供服务，所以对于移动端有需要的用户可以保留这个蜘蛛，但是以PC端流量为主力的网站可以屏蔽这个YisouSpider蜘蛛，优化网站压力。 为什么要屏蔽...
2022年07月28日 学习资料 暂无评论 喜欢 0 阅读 2,281 次 阅读全文

屏蔽AWStats中发现的垃圾蜘蛛oBot的方法

屏蔽AWStats中发现的垃圾蜘蛛oBot的方法
最近在用AWStats检查网站的时候，在Robots/Spiders visitors一项中发现第一名的蜘蛛是一个叫oBot的蜘蛛，蜘蛛就是搜索引擎抓取网页的一个工具。这个oBot蜘蛛每天都会来网站抓取数据，而且数据量非常大，都是上G大小的抓取。不过还好抓取的时间基本都是在凌晨，这个时候服务器的负载是比较小的。目前没有发现服务器扛不住导致网站无法访问的情况。 网站搜索了一下这个oBot蜘蛛，这个oBot 是 IBM Germany...
2022年07月27日 学习资料 暂无评论 喜欢 0 阅读 174 次 阅读全文

主机控制面板Awstats中的DotBot是什么蜘蛛？

主机控制面板Awstats中的DotBot是什么蜘蛛？
Awstats是一个非常强大的网站日志分析工具，在虚拟主机中一般都有提供。通过网站的日志分析可以查看网站的一些基本信息，网站的流量分析。其中有一项是网站蜘蛛访问情况，我们可以查看Robots/Spiders visitors (Top 10)前十名，也可以查看所有蜘蛛列表，而且有蜘蛛访问时间，抓取链接数量，消耗流量信息等。 各大搜索引擎的蜘蛛对网站抓取，然后在搜索中提供检索，这样就可以给网站带来很多流量，但是...
2022年07月10日 学习资料 暂无评论 喜欢 0 阅读 102 次 阅读全文

用robots文件屏蔽垃圾搜索蜘蛛减少服务器压力

用robots文件屏蔽垃圾搜索蜘蛛减少服务器压力
蜘蛛为了采集网站数据，有时候会消耗网站很大的流量，对服务器的压力很大，有些服务器承担不了压力，直接导致网站无法打开，提示502 bad gateway，国内百度，360，搜狗蜘蛛，神马搜索指数，除了这些蜘蛛，其他国外的蜘蛛基本对国内网站用处不大，所以可以通过服务器网站robots.txt文件进行屏蔽。文件内容如下，在文件内容下添加： User-agent: ubot Disallow: / User-agent: spider Disallow: / User-a...
2021年05月17日 学习资料 暂无评论 喜欢 1 阅读 635 次 阅读全文

Unknown robot (identified by ‘spider’)蜘蛛占用大量流量

Unknown robot (identified by ‘spider’)蜘蛛占用大量流量
网站流量被Unknown robot (identified by 'spider')占用了好几个G，这个蜘蛛也没有任何标示，我很奇怪这个蜘蛛为什么会占这么大的流量，类似的蜘蛛还有Unknown robot (identified by 'bot*')，Unknown robot (identified by empty user agent string)，不知道这个是不是某些网站监控程序导致的，解决方法可以暂时通过主机禁止这个ip访问，或者robots.txt禁止相应的蜘蛛访问。
2012年11月24日 软件技术 暂无评论 喜欢 0 阅读 3,404 次 阅读全文