·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹📱AI全功能
返回列表 发布新帖

在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
宝塔 Nginx 配置(推荐,复制即用)
操作步骤
宝塔 → 网站 → 选你的站点
设置 → 配置文件
在 server { ... } 里、所有 location 块之前 粘贴下面代码
保存 → 重载配置
  1. # ========== 屏蔽 AI / 数据采集爬虫 ==========set $block_ai_bot 0;if ($http_user_agent ~* "GPTBot")                          { set $block_ai_bot 1; }if ($http_user_agent ~* "ChatGPT-User")                     { set $block_ai_bot 1; }if ($http_user_agent ~* "OAI-SearchBot")                   { set $block_ai_bot 1; }if ($http_user_agent ~* "anthropic-ai")                     { set $block_ai_bot 1; }if ($http_user_agent ~* "ClaudeBot")                        { set $block_ai_bot 1; }if ($http_user_agent ~* "claude-web")                        { set $block_ai_bot 1; }if ($http_user_agent ~* "Google-Extended")                  { set $block_ai_bot 1; }if ($http_user_agent ~* "Applebot-Extended")                { set $block_ai_bot 1; }if ($http_user_agent ~* "Bytespider")                        { set $block_ai_bot 1; }if ($http_user_agent ~* "CCBot")                            { set $block_ai_bot 1; }if ($http_user_agent ~* "Amazonbot")                         { set $block_ai_bot 1; }if ($http_user_agent ~* "FacebookBot")                       { set $block_ai_bot 1; }if ($http_user_agent ~* "meta-externalagent")                { set $block_ai_bot 1; }if ($http_user_agent ~* "meta-externalfetcher")              { set $block_ai_bot 1; }if ($http_user_agent ~* "cohere-ai")                         { set $block_ai_bot 1; }if ($http_user_agent ~* "Diffbot")                           { set $block_ai_bot 1; }if ($http_user_agent ~* "ImagesiftBot")                      { set $block_ai_bot 1; }if ($http_user_agent ~* "Omgilibot")                         { set $block_ai_bot 1; }if ($http_user_agent ~* "Omgili")                            { set $block_ai_bot 1; }if ($http_user_agent ~* "PerplexityBot")                     { set $block_ai_bot 1; }if ($http_user_agent ~* "YouBot")                            { set $block_ai_bot 1; }if ($http_user_agent ~* "AI2Bot")                            { set $block_ai_bot 1; }if ($http_user_agent ~* "PetalBot")                           { set $block_ai_bot 1; }if ($http_user_agent ~* "DataForSeoBot")                      { set $block_ai_bot 1; }if ($http_user_agent ~* "magpie-crawler")                     { set $block_ai_bot 1; }if ($http_user_agent ~* "img2dataset")                         { set $block_ai_bot 1; }if ($http_user_agent ~* "Scrapy")                            { set $block_ai_bot 1; }if ($http_user_agent ~* "python-requests")                     { set $block_ai_bot 1; }if ($http_user_agent ~* "curl/")                              { set $block_ai_bot 1; }if ($http_user_agent ~* "wget")                               { set $block_ai_bot 1; }if ($http_user_agent ~* "HttpClient")                         { set $block_ai_bot 1; }if ($http_user_agent ~* "Java/")                              { set $block_ai_bot 1; }if ($http_user_agent ~* "Go-http-client")                    { set $block_ai_bot 1; }if ($block_ai_bot = 1) {    return 403;}# ========== 屏蔽结束 ==========
复制代码


这方法好像有效
我要说一句 收起回复

评论4

婷姐Lv.8 发表于 3 小时前 | 查看全部
宝塔NG免费防火墙不香吗?全可视化操作
我要说一句 收起回复
回复 支持 反对

使用道具 举报

TyCodingLv.8 发表于 3 小时前 | 查看全部
防不住
我要说一句 收起回复
回复 支持 反对

使用道具 举报

浅生Lv.8 发表于 3 小时前 | 查看全部
UA都是模拟的!哪有那么容易。能屏蔽一些就可以了。蜘蛛真太多了,加缓存加队列避免击穿到数据库
我要说一句 收起回复
回复 支持 反对

使用道具 举报

TyCodingLv.8 发表于 3 小时前 | 查看全部
大善人呀 感谢分享
我要说一句 收起回复
回复 支持 反对

使用道具 举报

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
关闭

站长推荐上一条 /1 下一条

最新热评 加载中...
AI智能体
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:216.73.217.141,GMT+8, 2026-6-16 17:23 , Processed in 5.661955 second(s), 102 queries , Gzip On, Redis On.

Powered by Discuz! X5.1 Licensed

© 2001-2026 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表