百度真有匿名蜘蛛,今天发现了
2025/06/26 20:19:20
我今天更新网站,pc首页更新了,移动首页没有更新,但我发现新更新的文章。m端链接收录了,pc没有收录,
但移动首页没有更新,按理百度抓取不了m端了新文章,因为没有入口,只能从pc抓。利用移动适配,去抓移动页,但我分析日志,新文章www页面百度带UA的蜘蛛没有爬行。
唯一解释的是,www页面百度匿名蜘蛛爬行了,匿名蜘蛛通过www的移动适配发现了m页面的新链接,然后百度蜘蛛去抓了新更新的移动页面
这要是不小心屏蔽了匿名蜘蛛咋办
但移动首页没有更新,按理百度抓取不了m端了新文章,因为没有入口,只能从pc抓。利用移动适配,去抓移动页,但我分析日志,新文章www页面百度带UA的蜘蛛没有爬行。
唯一解释的是,www页面百度匿名蜘蛛爬行了,匿名蜘蛛通过www的移动适配发现了m页面的新链接,然后百度蜘蛛去抓了新更新的移动页面
这要是不小心屏蔽了匿名蜘蛛咋办