如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很 New
2025/08/13 18:36:07
如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很，带宽10M就一个社区程序，
重启服务器后登陆网站快得很，过2小时后登陆网站就卡，查看日志分别就是这三爬虫不停爬取网站。
WebMeUp Semrush Other
措施1伪静态
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}
措施2 robots.txt
User-agent: WebMeUp
Disallow: /
User-agent: Other
Disallow: /
User-agent: Semrush
Disallow: /
措施3服务器防火墙屏蔽IP
措施4 购买安全防御方面插件辅助
还是防不住这些爬虫。WebMeUp Semrush Other 马牛马牛啊 真邪门?望高手指点一下方法。谢谢
我知道答案 回答被采纳将会获得1 贡献 已有1人回答
重启服务器后登陆网站快得很，过2小时后登陆网站就卡，查看日志分别就是这三爬虫不停爬取网站。
WebMeUp Semrush Other
措施1伪静态
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}
措施2 robots.txt
User-agent: WebMeUp
Disallow: /
User-agent: Other
Disallow: /
User-agent: Semrush
Disallow: /
措施3服务器防火墙屏蔽IP
措施4 购买安全防御方面插件辅助
还是防不住这些爬虫。WebMeUp Semrush Other 马牛马牛啊 真邪门?望高手指点一下方法。谢谢
我知道答案 回答被采纳将会获得1 贡献 已有1人回答