百度蜘蛛抓取的不为人知的那些事半年前在测试网站配置文件放了防抓取

当时网站的收录大概是1400左右，放了这个代码之后3个月掉到过700左右，今天想起来又看了一下还涨了。

站长后台模拟抓取一直都是500


日志里面蜘蛛抓取也是500，就这半年了收录不掉还多了，离谱啊。。。