·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹👽聊天室📱AI智能体
12下一页
返回列表 发布新帖

最近的爬虫也是疯狂,每天早上9点开始

229 13
发表于 2024-10-29 21:17:03 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
每天早上9点开始,每个请求都是一个IP,UA头模拟的浏览器
若是只访问静态也就算了,动态页还不能关闭,部分内容是动态显示的。疯狂请求动态页
找规律找到吐血。每天早上9点关闭msyql半小时,要么机器满载。。

你们都有啥好办法不?
我要说一句 收起回复

评论13

TyCodingLv.8 发表于 2024-10-29 21:17:42 | 查看全部
有什么用
我要说一句 收起回复
IT618发布Lv.8 发表于 2024-10-29 21:18:04 | 查看全部
装waf、屏蔽掉bot UA、具体再看日志拉黑ip
我要说一句 收起回复
TyCodingLv.8 发表于 2024-10-29 21:18:18 | 查看全部
除了waf,其他都做了
python爬虫的UA头是模拟浏览器,还不是bot类型的,头疼。
IP得有上千个,清理日志后,瞬间出现几百个请求。一次性请求上百个动态页,就废了
我要说一句 收起回复
浅生Lv.8 发表于 2024-10-29 21:18:47 | 查看全部
都一样,保证服务不死就行    最近的爬虫也是疯狂,每天早上9点开始 爬虫有多厉害
我要说一句 收起回复
浅生Lv.8 发表于 2024-10-29 21:19:22 | 查看全部
所以报警的时候,没办法了,只能关闭mysql半小时。头疼。
我要说一句 收起回复
浅生Lv.8 发表于 2024-10-29 21:19:27 | 查看全部
特别是字节跳动的ai训练爬虫 疯狂爬取数据
我要说一句 收起回复
TyCodingLv.8 发表于 2024-10-29 21:19:41 | 查看全部
直接屏蔽就好~
我要说一句 收起回复
CrystαlLv.8 发表于 2024-10-29 21:19:46 | 查看全部
我也是。。。几百个请求还算好,我碰到的基本上是一小时几十万……基本上是同一个地区的IP,但是基本上没啥规律。。我总不能把这个区域的IP全部屏蔽了吧……头疼,这些狗真的是……
我要说一句 收起回复
浅生Lv.8 发表于 2024-10-29 21:20:24 | 查看全部
暂时封那个地区的
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
关闭

站长推荐上一条 /1 下一条

最新热评 加载中...
AI智能体
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:216.73.216.44,GMT+8, 2025-6-17 14:04 , Processed in 0.265828 second(s), 105 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2025 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表