屏蔽疯狗爬虫YisouSpider

最近发现博客打开巨慢,根本无法正常流量,打开服务器一看负载,飙高到11,对于一个单核小破VPS来说,简直就是要了老命了。难道有人在DDOS我吗?好像最近没有得罪人啊,每天应急打站忙成狗,看了一下DigitalOcean的统计图,惊呆。

DigitalOcean

麻辣隔壁,9号开始就被打死了,IO基本为零了,CPU各种负载爆表,赶紧下载日志查了一下,不查不知道,尼玛来了个YisouSpider,疯狗一样的爬啊,无视robotts文件,真是哔了狗,赶紧在nginx处理一下了,神经病,DDOS式爬虫。

                if ($http_user_agent ~ YisouSpider) {
                        return 403;
                }

在搜索引擎查了一下,好多小站被他爬挂了,搞不懂这个搜索引擎的爬虫是怎么设置的,各种重复爬,各种并发,实在是66666,简直一条疯狗。

本文标题:屏蔽疯狗爬虫YisouSpider
本文链接:https://www.nigesb.com/forbid-mad-dog-spider-yisouspider.html
订阅本站:http://www.nigesb.com/feed
转载请注明来源,如果喜欢本站可以Feed订阅本站。

发表评论?

1 条评论。

  1. 分享是美德,谢谢博主的分享。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>