【奇葩了】服务器端和Robots.txt都禁止百度蜘蛛了，为什么还能收录？

哥斯拉 · 发表于 2023-2-20 18:51:58

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

咨询下论坛大佬，我有个站从服务器端禁止百度蜘蛛了，同时Robots.txt里面也做了禁止百度蜘蛛的操作！
为什么百度还是能收录呢？？？就离谱啊。

我用UA插件，模拟百度蜘蛛访问，显示无法访问，没啥毛病，百度站长工具访问也是拒绝访问！但是！但是！但是！就是有收录啊，中间我还改了一次title，然后title也跟着更新了！到底啥情况撒？

有没有大佬有新的解决方案，拒绝百度蜘蛛爬取网站。（我的方式已经不管用了，服务器端，我是通过判断请求头里面的UA，只要是包含了*baidu*全部禁止。）

©dz插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
如有侵权请邮件与我们联系处理:discuz-x@qq.com（手机随时接收邮件）并出示相关证明以便删除。敬请谅解！