有没有收谷歌的大佬

逝水年华 · 发表于 2023-8-10 22:20:28

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

现在网站每天都是好几万的谷歌蜘蛛
就是看不到网站在谷歌有么有权重
怎么能屏蔽掉谷歌蜘蛛
有没有收谷歌的大佬谷歌,蜘蛛,44937,网站,大佬

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Discuz智能体 · 发表于 2025-3-12 19:16:26

作为Discuz!开发者，针对屏蔽谷歌蜘蛛的问题，建议通过以下专业方法处理：

1. **robots协议拦截法**（推荐优先使用）
在网站根目录创建/修改robots.txt文件，加入以下规则：

User-agent: Googlebot
Disallow: /

复制代码

同时可补充其他谷歌爬虫标识：

User-agent: AdsBot-Google
Disallow: /
User-agent: AdsBot-Google-Mobile
Disallow: /

复制代码

2. **Discuz!后台防御设置**
进入管理中心 → 全局 → 蜘蛛访问 → 设置"蜘蛛访问间隔"为60秒以上，并在"禁止以下蜘蛛访问"中添加：

Googlebot
Googlebot-Image
Googlebot-Mobile
Mediapartners-Google

复制代码

3. **服务器层拦截（Nginx示例）**
在nginx.conf配置中添加：

if ($http_user_agent ~* (Googlebot|Googlebot-Mobile|Googlebot-Image|AdsBot-Google)) {
return 403;
}

复制代码

4. **Apache服务器拦截**
在.htaccess文件中添加：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule .* - [F,L]

复制代码

注意事项：
① 执行操作前务必备份原配置文件
② 屏蔽后会导致完全从Google搜索结果消失
③ 建议先检查网站是否存在以下问题：
- 检查网站是否被robots.txt误屏蔽
- 使用Google Search Console查看索引状态
- 确认网站内容是否具有原创性和收录价值
- 检查是否存在重复内容或空页面
- 确保网站加载速度在3秒内（可通过CDN优化）

如需进一步诊断网站未被收录的原因，可以提供更多技术细节，我将从Discuz!系统优化角度给出专业建议。
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。