今天辉哥来分享一个被刷站的经历，也就是不知名爬虫疯狂爬取我的网站，将服务器资源吃完，最后导致无法访问，我们该如何解决？
现在基础的爬虫我们可以禁IP，但是当对方有了IP池，你怎么办？
每秒好几十上千的爬取，分分钟将服务器拉爆，禁了一个还有无数个。
从上图可以看出他疯狂的GET请求我的author目录，访问列表页面，而这个列表带很多参数，也就是分页时候的筛选等等，会造成大量的数据库请求，数据库很容易崩溃，当然了，这只是冰山一角，它还请求我的wp-admin后台的接口，user-sign登录，等等等等。。。
解决方法一
1.Nginx设置：
# 每个 IP 每秒最多 5 次 /wp-admin/admin-ajax.php
limit_req_zone $binary_remote_addr zone=ajax_limit:10m rate=5r/s;
# 每个 IP 每秒最多 2 次 /user-sign
limit_req_zone $binary_remote_addr zone=usersign_limit:10m rate=2r/s;
# 每个 IP 每秒最多 2 次 /oauth
limit_req_zone $binary_remote_addr zone=oauth_limit:10m rate=2r/s;
# 限制 wp-admin/admin-ajax.php
location = /wp-admin/admin-ajax.php {
limit_req zone=ajax_limit burst=10 nodelay;
# 阻止常见爬虫 UA
if ($http_user_agent ~* (python|curl|scrapy|spider|bot) ) {
return 403;
}
}
# 限制 /user-sign
location = /user-sign {
limit_req zone=usersign_limit burst=5 nodelay;
if ($http_user_agent ~* (python|curl|scrapy|spider|bot) ) {
return 403;
}
}
# 限制 /oauth/ 下所有路径
location ^~ /oauth {
limit_req zone=oauth_limit burst=5 nodelay;
if ($http_user_agent ~* (python|curl|scrapy|spider|bot) ) {
return 403;
}
}备注：第一个放到sever{…}体外，第二个放到sever{…}体内。
2.保存并测试配置：
nginx -t
3.测试通过后重启 Nginx：
service nginx restartok，问题解决！！！
第二种方法
第一种直接将wp-admin和user-sign都禁了，只要是这两个为后缀的不管带什么参数都会被识别为静态页面，这里会导致我们自己也无法访问后台，不过也是最简单粗暴的方法，一次性都禁完。
下面这种方法是保留自己的IP并增加PHP规则，我们可以正常配置解放自己的IP，或者多个IP都行。可正常访问后台！
#毛毛二开=================================开始
# 限制 wp-admin/admin-ajax.php
location ~ ^/wp-admin/admin-ajax\.php$ {
#增加自己的IP访问
allow 我的IP;
allow 127.0.0.1;
deny all;
limit_req zone=ajax_limit burst=10 nodelay;
# 阻止常见爬虫 UA
if ($http_user_agent ~* (python|curl|scrapy|spider|bot) ) {
return 403;
}
# PHP 处理
include fastcgi_params;
fastcgi_pass unix:/run/php-fpm.sock; # 按你的 PHP-FPM 实际路径改
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
}
# 限制 /user-sign
location ~ ^/user-sign {
#增加自己的IP访问
allow 我的IP;
allow 127.0.0.1;
deny all;
limit_req zone=usersign_limit burst=5 nodelay;
if ($http_user_agent ~* (python|curl|scrapy|spider|bot) ) {
return 403;
}
# WordPress rewrite
try_files $uri /index.php?$args;
}
# 限制 /oauth 下所有路径
location ^~ /oauth {
limit_req zone=oauth_limit burst=5 nodelay;
if ($http_user_agent ~* (python|curl|scrapy|spider|bot) ) {
return 403;
}
}
#毛毛二开==============结束辉哥推荐使用第二种！
开发者：李辉
正文完
