几千条信息，还是有的！

难道是，蜘蛛爬取了，所有存在的链接方式？

就算同内容，不同的链接URL格式，也会重复爬取么？

如果真的是，以不同的url，收录了相同的内容：对网站有没有影响呢？

有懂的大佬普及一下