去评论
dz插件网

蜘蛛总是抓取不存在的url,但是返回状态是200

逝水年华
2025/03/07 21:40:27
蜘蛛抓取如:https://www.域名/category/product,这个一个不存在的目录(实际有很长的url全是乱搭配的)为什么不是直接返回404.而是返回首页的200状态,在nginx中配置了错误返回404.html为什么每生效,
导致蜘蛛一直抓取这些页面,全是只有文本没有加载静态样式的页面