·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹🎖️众筹悬赏👽聊天室
返回列表 发布新帖

robots.txt 要不要弄

238 7
发表于 2022-11-21 19:09:21 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
robots.txt 要不要弄
我看有蜘蛛爬这个页面,返回404
要不要弄一个这也买呢
我要说一句 收起回复

评论7

CrystαlLv.8 发表于 2022-11-21 19:09:44 | 查看全部
肯定要弄这个,蜘蛛首页第一就是访问这个文件,根据你的设置再去爬取其他页面。不弄的话默认随机抓取
我要说一句 收起回复
CrystαlLv.8 发表于 2022-11-21 19:10:31 | 查看全部
重要的文件或目录,肯定用robots.txt禁止抓取,只不过——防君子,防不了小人
我要说一句 收起回复
浅生Lv.8 发表于 2022-11-21 19:10:38 | 查看全部
robots是优化基础操作
我要说一句 收起回复
IT618发布Lv.8 发表于 2022-11-21 19:10:45 | 查看全部
其实网站如果有流量 这些细节都不重要
我要说一句 收起回复
独家记忆Lv.8 发表于 2022-11-21 19:11:32 | 查看全部
弄了也没啥啊,为啥不弄呢
我要说一句 收起回复
拾光Lv.8 发表于 2022-11-21 19:12:32 | 查看全部
弄不弄都行,无所谓。。。。
我要说一句 收起回复
独家记忆Lv.8 发表于 2022-11-21 19:12:55 | 查看全部
这不是基操?
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图

您的IP:3.230.154.90,123.235.31.53,GMT+8, 2024-5-24 18:54 , Processed in 0.226078 second(s), 140 queries , Gzip On, Redis On.

Based on Discuz! W1.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表