当你看到这么多记录，且包含了，图片文件和css、、js各种链接，都被蜘蛛爬行一遍，基本可以确定是，取证机器人，在爬行你的服务器了

且这种行为，并不是为了帮你收录，只是人家取证获取你网站的相关文件而己

更可以通过，即然有大量蜘蛛爬行，却没有对应的页面收录记录，就基本可以确认，就是取证了