写了robots，爬虫没遵守规则是不是可以告他 xiao94692022/04/15 13:04:28 很多奇奇怪怪的爬虫在爬网站DotBot，MJ***等等，这些叼毛爬虫压根不遵守robots协议 进入原文参与互动