刚发现了一个问题，或许也有可能是蜘蛛不来的原因！

婷姐 · 发表于 2023-4-11 11:43:46

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

我找了一早上的原因，BA昨天下来如果按正常提交今天就应该有蜘蛛了，今天测了一早上蜘蛛抓取，一直返回500内部抓取错误，找了半天，什么都测试过了，一开始以为是Robots文件设置错了导致蜘蛛进不来，后面我把这个文件删了，结果还是一样，后面又陆续吧所有可能造成这个原因的东西都撤了，又测了一遍，问题还是如此，后面想想是不是防火墙的原因，因为我想着我用的是“明国三年一场雨”老哥开发的那个版本不是系统默认的那个版本会不是造成这个的原因，后面我去试了一下，把那个关了，结果还真是如此，现在我把这关了，把系统自带的开启就不见这个原因了，具体我看了一下，因该是里面（GET-URL过滤、GET-参数过滤、User-Agent过滤）这些设置开启的原因，发此贴的原因，一是为大家提个醒，蜘蛛不来或许这个可能是原因之一；二是想问下各位具体的一个设置方案，因为我对防护这一块了解比较少！感谢！

©dz插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
如有侵权请邮件与我们联系处理:discuz-x@qq.com（手机随时接收邮件）并出示相关证明以便删除。敬请谅解！