如果网站没有robots.txt，搜索引擎是怎么处理的？

逝水年华 · 发表于 2022-4-27 13:55:00

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

如果网站没有生成robots.txt，搜索引擎默认是怎么处理的？

©dz插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
如有侵权请邮件与我们联系处理:discuz-x@qq.com（手机随时接收邮件）并出示相关证明以便删除。敬请谅解！

拾光 · 发表于 2022-4-27 13:55:13

当没任何屏蔽啊

婷姐 · 发表于 2022-4-27 13:56:01

该咋样还咋样啊

婷姐 · 发表于 2022-4-27 13:56:39

站点任何结构都去抓取。

婷姐 · 发表于 2022-4-27 13:57:29

没有生成robots.txt，不是默认全部开放吗

IT618发布 · 发表于 2022-4-27 13:57:56

默认全部开放。

独家记忆 · 发表于 2022-4-27 13:58:51

百度：你的网站弄不弄robots.txt有区别吗？你看劳资会来抓么

IT618发布 · 发表于 2022-4-27 13:59:49

你有误解你做了限制百度照样会去爬

TyCoding · 发表于 2022-4-27 14:00:00

就是这个网站内容，全部都会抓取

IT618发布 · 发表于 2022-4-27 14:00:59

默认全开。百度会认为可以爬所有它发现的链接

如果网站没有robots.txt，搜索引擎是怎么处理的？

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达
评论10

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

如果网站没有robots.txt，搜索引擎是怎么处理的？

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达 评论10

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

电梯直达
评论10