去评论
dz插件网

ClaudeBot 爬虫 一定要拦截 很恶心!

镖师
2025/12/18 12:06:25

目测这个爬虫起码上万个IP,而且还不是同一个机器,导致JA3指纹根本拦截不过来。只能针对UA来拦截了。

这爬虫懂得躲过防火墙的,每秒就访问三次,而且不同的URI,一般防火墙不可能限制用户每秒只能访问三次的,所以百度云防护根本没拦截,更恶心的是 你如果把他这个IP拦截了,他转头又来了一个新的IP,无穷无尽,所以靠IP拦截没啥用。
最有效的方法是拦截包含ClaudeBot的UA或者拦截他爬虫的数据中心的ANS,ClaudeBot 爬虫的数据中心是在亚马逊的,ASN编码为AS16509
高级点的WAF都能针对这两个特征拦截,大家看下。