最近发现博客打开巨慢,根本无法正常流量,打开服务器一看负载,飙高到11,对于一个单核小破VPS来说,简直就是要了老命了。难道有人在DDOS我吗?好像最近没有得罪人啊,每天应急打站忙成狗,看了一下DigitalOcean的统计图,惊呆。
麻辣隔壁,9号开始就被打死了,IO基本为零了,CPU各种负载爆表,赶紧下载日志查了一下,不查不知道,尼玛来了个YisouSpider,疯狗一样的爬啊,无视robotts文件,真是哔了狗,赶紧在nginx处理一下了,神经病,DDOS式爬虫。
if ($http_user_agent ~ YisouSpider) { return 403; }
在搜索引擎查了一下,好多小站被他爬挂了,搞不懂这个搜索引擎的爬虫是怎么设置的,各种重复爬,各种并发,实在是66666,简直一条疯狗。
你可能喜欢
本文标题:屏蔽疯狗爬虫YisouSpider
转载请注明来源,如果喜欢本站可以Feed订阅本站。
分享是美德,谢谢博主的分享。