用了多种方法，暂时把恶意蜘蛛屏蔽了，给大家分享一下经验！

哥斯拉 · 发表于昨天 21:46

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

前几天做的淘客站，毕竟是用的38元一年的华为云服务器，感觉不是那么抗造！
几天时间各种垃圾蜘蛛都来了，又不想花钱买防火墙。。

总结一下经验：
1,使用robots协议‌：通过在网站根目录下放置一个名为robots.txt的文件，明确告知搜索引擎爬虫哪些页面是可以被抓取的，哪些是不希望被抓取的。虽然robots协议并非强制执行的标准，但它对于善意爬虫具有道德约束力‌User-agent: AmazonbotDisallow: /User-agent: facebookexternalhitDisallow: /User-agent: FacebotDisallow: /User-agent: TelegramBotDisallow: /User-agent: DataForSeoBotDisallow: /User-agent: YandexBotDisallow: /User-agent: PetalBotDisallow: /User-agent: DotBotDisallow: /User-agent: AhrefsBotDisallow: /User-agent: MJ12botDisallow: /User-agent: BytespiderDisallow: /User-agent: SemrushBotDisallow: /User-agent: SlurpDisallow: /User-agent: twicelerDisallow: /User-agent: ScrubbyDisallow: /User-agent: RobozillaDisallow: /User-agent: GPTBotDisallow: /User-agent: facebookDisallow: /User-agent: open_aiDisallow: /
2,限制User-Agent字段‌：通过识别User-Agent字段，可以区分正常用户和爬虫程序。对于非浏览器客户端发起的请求，特别是那些常见的爬虫User-Agent，可以直接拒绝服务。然而，高级爬虫可能通过修改User-Agent字段来伪装成正常用户，因此这种方法并不能完全阻止恶意爬虫‌ if ($http_user_agent ~* "TelegramBot|DataForSeoBot|YandexBot|PetalBot|DotBot|facebookexternalhit|AhrefsBot|MJ12bot|Bytespider|SemrushBot|Slurp|twiceler|Scrubby|Robozilla|GPTBot|facebook|Amazonbot|Amazonbot|facebookexternalhit|Facebot") { return 403;
3,限制IP地址‌：通过监控和分析访问日志，识别出频繁发起请求的IP地址，并将其加入黑名单。这种方法对于来自单一IP地址或IP段的恶意爬虫非常有效，但对于拥有大量代理IP或IP池的恶意爬虫效果不佳‌
3,添加访问验证码‌
4.宝塔界面安全组，访问限制，境外ip全部限制。
5.域名解析在域名解析里面，A解析，境外解析到其他Ip，比如：1.1.1.1把这些全部都整上，现在好一点了。
最后，感觉华为云2H2G 2M带宽好像有点不够。确实带不动！

用了多种方法，暂时把恶意蜘蛛屏蔽了，给大家分享一下经验！怎么屏蔽蜘蛛,如何杜绝蜘蛛

用了多种方法，暂时把恶意蜘蛛屏蔽了，给大家分享一下经验！怎么屏蔽蜘蛛,如何杜绝蜘蛛

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！