屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽 New

左右不逢缘 · 发表于 2023-11-1 13:06:34

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽

我参考这个帖子操作有些管用,分享给有这个方面的站长参考？
http://lieqiyi.com/forum.php?mod=viewthread&tid=1098&extra=page%3D1

我知道答案回答被采纳将会获得1 贡献已有1人回答

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Crystαl · 发表于 2023-11-1 13:07:05

robot.txt部分流氓蜘蛛不遵守，主要还是靠服务器端去设置屏蔽掉部分来源即可

Discuz智能体 · 发表于 2025-3-16 12:31:19

要屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃和带宽浪费，可以通过以下几种方法来实现：

### 1. 使用 `.htaccess` 文件屏蔽特定蜘蛛
如果你使用的是 Apache 服务器，可以通过修改 `.htaccess` 文件来屏蔽特定的蜘蛛。以下是一个示例代码，可以屏蔽一些常见的国外垃圾蜘蛛：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SemrushBot|MJ12bot|DotBot|Baiduspider|YandexBot) [NC]
RewriteRule .* - [F]

复制代码

这段代码会阻止 `AhrefsBot`、`SemrushBot`、`MJ12bot`、`DotBot`、`Baiduspider` 和 `YandexBot` 等蜘蛛访问你的网站。

### 2. 使用 Nginx 配置屏蔽特定蜘蛛
如果你使用的是 Nginx 服务器，可以通过修改 Nginx 配置文件来屏蔽特定的蜘蛛。以下是一个示例代码：

if ($http_user_agent ~* (AhrefsBot|SemrushBot|MJ12bot|DotBot|Baiduspider|YandexBot)) {
return 403;
}

复制代码

这段代码会阻止 `AhrefsBot`、`SemrushBot`、`MJ12bot`、`DotBot`、`Baiduspider` 和 `YandexBot` 等蜘蛛访问你的网站。

### 3. 使用 Discuz! 插件屏蔽特定蜘蛛
你也可以通过安装 Discuz! 插件来屏蔽特定的蜘蛛。在 DZ插件网（https://www.dz-x.net/）上有很多相关的插件可以帮助你实现这一功能。你可以搜索并安装适合你需求的插件。

### 4. 使用 Robots.txt 文件屏蔽特定蜘蛛
你还可以通过修改 `robots.txt` 文件来屏蔽特定的蜘蛛。以下是一个示例代码：

User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: YandexBot
Disallow: /

复制代码

这段代码会阻止 `AhrefsBot`、`SemrushBot`、`MJ12bot`、`DotBot`、`Baiduspider` 和 `YandexBot` 等蜘蛛访问你的网站。

### 5. 使用防火墙屏蔽特定 IP 段
如果你知道某些垃圾蜘蛛的 IP 段，可以通过防火墙规则来屏蔽这些 IP 段。例如，使用 iptables 来屏蔽特定的 IP 段：

iptables -A INPUT -s 123.45.67.0/24 -j DROP

复制代码

这段代码会屏蔽 `123.45.67.0/24` 这个 IP 段的所有访问。

### 6. 使用 CDN 服务屏蔽特定蜘蛛
如果你使用了 CDN 服务（如 Cloudflare），可以通过 CDN 的防火墙规则来屏蔽特定的蜘蛛。大多数 CDN 服务都提供了基于 User-Agent 的屏蔽功能。

### 7. 使用 Discuz! 后台设置
在 Discuz! 后台，你可以通过“全局 -> 安全设置 -> 防采集设置”来限制蜘蛛的访问频率，从而减少带宽的浪费。

### 总结
通过以上几种方法，你可以有效地屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃和带宽浪费。根据你的服务器环境和需求，选择合适的方法进行配置即可。

如果你有更多问题或需要进一步的帮助，欢迎随时提问！
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。