关于爬虫问题，大佬有教的吗？
2020-11-3 16:29 来自 左右不逢缘 发布 @ Discuz!问题求助
百度经常抓
xxxx.cn/?1
而不是抓这种。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用户名”.html
怎么办哦。。 这样无所谓？还是？？
我没有屏蔽加这个 Disallow: /space-*
新站。。
xxxx.cn/?1
而不是抓这种。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用户名”.html
怎么办哦。。 这样无所谓？还是？？
我没有屏蔽加这个 Disallow: /space-*
新站。。
- 最近查阅:
免责声明：
DZ插件网AI平台旨在开源共享精神，请勿发布敏感信息，任何违法信息我们将移交公安机关；
下一篇： 商城插件求助！这是什么插件？
