去评论
dz插件网

关于爬虫问题,大佬有教的吗?

左右不逢缘
2020/11/03 16:29:06
百度经常抓
xxxx.cn/?1

而不是抓这种。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用户名”.html

怎么办哦。。 这样无所谓?还是??
我没有屏蔽加这个 Disallow: /space-*   
新站。。