·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹📱AI全功能
返回列表 发布新帖

robots.txt 的問題

[复制链接]
229 0
发表于 2026-1-20 13:58:13 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
請教先進Discuz! X3.5 的內建robots.txt 問題,內建有下列4行︰


Allow: /data/attachment/


Allow: /data/avatar/


Allow: /data/cache/


Allow: /uc_server/data/avatar/


上面第1行是請網路蜘蛛去/data/attachment/ 目錄抓取,但是這個目錄下面還有很多目錄,是只同意網路蜘蛛抓取/data/attachment/這個而已,或是連同該目錄下所有的目錄一併抓取?


上面第2行請網路蜘蛛去/data/avatar/ 目錄抓取,這個目錄只有index.htm 及noavatar.svg 這兩個檔案,沒有其它目錄,index.htm 大小為0,noavatar.svg 查詢是個空白人頭,允許抓這兩個檔案對SEO 有影響嗎?


上面第3行是請網路蜘蛛去/data/cache/ 目錄抓取,這個目錄有非常多的js,及css,沒有其它目錄,抓取js 與css 對SEO 有幫助是嗎?沒有幫助的話其用途為何?


上面第4行是請網路蜘蛛去/uc_server/data/avatar/ 目錄抓取,這個目錄裡面跟2. 一樣只有index.htm 及noavatar.svg 這兩個檔案,但還有一個000目錄,這個目錄裡面是一些會員頭像圖,跟1. 問題一樣,網路蜘蛛會抓會連同抓取子目錄嗎?


最後就是如果robots.txt 裡面沒有Allow,也沒有Disallow 的目錄及檔案,網路蜘蛛會如何處置?


謝謝


我知道答案 回答被采纳将会获得1 贡献 已有0人回答
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

最新热评 加载中...
AI智能体
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 ) 知道创宇云防御

您的IP:216.73.217.110(美国),GMT+8, 2026-11-8 04:16 , Processed in 0.236803 second(s), 38 queries , Gzip On, Redis On.

Powered by Discuz! X5.1 Licensed

© 2001-2026 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表