服务器被蜘蛛爬死了怎么办？使用技巧之nginx拦截爬虫的方法

镖师 · 发表于 2026-3-20 07:10:03

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

当我们网站遇到搜索引擎爬虫过度爬取、或者被CC攻击时，就出现服务器资源被占满，
网站打开就会比较慢甚至打不开。在不升级服务器的情况下，可以尝试屏蔽掉一些不需要的爬虫。
今天教大家如何分析和拦截不需要的爬虫抓取我们网站的数据。我们还是以宝塔面板为例。
第一步：打开web日志
服务器被蜘蛛爬死了怎么办？使用技巧之nginx拦截爬虫的方法服务器反爬虫

第二步：找到使用的网站域名点后面的编辑
服务器被蜘蛛爬死了怎么办？使用技巧之nginx拦截爬虫的方法服务器反爬虫

第三步：分析日志

主要是找出爬虫的特征，根据特征拦截
如下图
服务器被蜘蛛爬死了怎么办？使用技巧之nginx拦截爬虫的方法服务器反爬虫

第四步：设置拦截规则
if ($http_user_agent ~ semrush.com) {return 403 ;}

服务器被蜘蛛爬死了怎么办？使用技巧之nginx拦截爬虫的方法服务器反爬虫

一下是看你是PHP几，就打开几，在文件上面加入屏蔽垃圾蜘蛛。
屏蔽代码综合代码文件如下：
通过网盘分享的文件：使用技巧之nginx拦截爬虫的方法
链接: https://pan.baidu.com/s/1ka9C1UZkNsS3b5IpR0yWOA?pwd=as3e 提取码: as3e

迅雷云盘下载
https://pan.xunlei.com/s/VOo5hQwsTn1as-_pNWKh95NpA1?pwd=4sgf#

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Crystαl · 发表于 2026-3-20 07:10:21

放弃抵抗吧~ 几百个域名站的我已经全改成单页了！
-----------------------------------------
目前标配：8H8G30M +1个单页绑定几百个域名（单页内容：兔兔侠）
-----------------------------------------
转移战场，不搞站了