关于UA的问题,你网站有没有遇到过?
最近看网站日志的时候,发现有个UA头是Go-http-client
这个我知道是GO语言抓取的默认头,我直接就屏蔽了。
但是问题就在于,我今天给全站生成了几十个地图,地图的地址只有我自己知道,我也只提交给百度、360、必应、今日头条。
但是他竟然知道我网站地图的地址,这就很奇怪了。
在网上查了一下,有的说是腾讯云或者阿里云加速的UA头。我感觉不可能,我又没有使用CDN。
服务器用的是腾讯云
有人知道遇到过这个UA头是什么情况吗?
这个我知道是GO语言抓取的默认头,我直接就屏蔽了。
但是问题就在于,我今天给全站生成了几十个地图,地图的地址只有我自己知道,我也只提交给百度、360、必应、今日头条。
但是他竟然知道我网站地图的地址,这就很奇怪了。
在网上查了一下,有的说是腾讯云或者阿里云加速的UA头。我感觉不可能,我又没有使用CDN。
服务器用的是腾讯云
有人知道遇到过这个UA头是什么情况吗?