如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很 New

𝕷𝖎𝖑𝖏𝖆𝖈𝖐 · 发表于 2025-8-13 18:36:07

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很，带宽10M就一个社区程序，
重启服务器后登陆网站快得很，过2小时后登陆网站就卡，查看日志分别就是这三爬虫不停爬取网站。
WebMeUp Semrush Other

措施1伪静态

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}
措施2 robots.txt

User-agent: WebMeUp
Disallow: /

User-agent: Other
Disallow: /

User-agent: Semrush
Disallow: /

措施3服务器防火墙屏蔽IP

如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很
New
蜘蛛爬虫软件

措施4 购买安全防御方面插件辅助
如何屏蔽国外垃圾蜘蛛爬虫服务器经常爬死机卡得很
New
蜘蛛爬虫软件

还是防不住这些爬虫。WebMeUp Semrush Other 马牛马牛啊真邪门?望高手指点一下方法。谢谢
我知道答案回答被采纳将会获得1 贡献已有1人回答

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

独家记忆 · 发表于 2025-8-13 18:36:58

如果确定是垃圾蜘蛛的话, 直接用

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}

这样的规则应该就可以了的, 如果屏蔽之后还没大幅度好转就是还有其他垃圾蜘蛛或者是垃圾ip再大量访问

具体的要分析web日志才行;

当然, 如果没有海外用户, 可以直接屏蔽所有的海外ip, 你截图的那个 ip地区访问限制插件是可以通过关键字屏蔽海外的地区或国家的;

最节省资源的方法是: 分析web日志, 找出恶意访问的ip , 然后使用防火墙拦截