·设为首页收藏本站📧邮箱修改🎁免费下载专区🔐设置/修改密码👽群雄群聊
返回列表 发布新帖

写了robots,爬虫没遵守规则是不是可以告他

202 5
发表于 2022-4-15 13:04:28 | 显示全部楼层 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
很多奇奇怪怪的爬虫在爬网站DotBot,MJ***等等,这些叼毛爬虫压根不遵守robots协议
我要说一句 收起回复

评论5

CrystαlLv.8 发表于 2022-4-15 13:04:43 | 显示全部楼层
作为互联网底层站点去反抗?你怕是想被K
我要说一句 收起回复
独家记忆Lv.8 发表于 2022-4-15 13:05:18 | 显示全部楼层
robots协议是防君子不防小人的,你外部留痕存的话引擎没有第一时间验证robots协议,而是直接抓取了你的留痕url页面也是合理的
我要说一句 收起回复
独家记忆Lv.8 发表于 2022-4-15 13:05:57 | 显示全部楼层
防火墙禁了这几个就行
我要说一句 收起回复
IT618发布Lv.8 发表于 2022-4-15 13:06:46 | 显示全部楼层
直接屏蔽不就行了。
我要说一句 收起回复
婷姐Lv.8 发表于 2022-4-15 13:07:34 | 显示全部楼层
你要先知道你告谁呢?
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图

您的IP:3.139.70.131,120.41.32.62,GMT+8, 2024-4-29 11:44 , Processed in 0.245745 second(s), 116 queries , Gzip On, Redis On.

Based on Discuz! W1.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表