蜘蛛频繁抓取某几个页面

婷姐 · 发表于 2022-1-12 14:57:25

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

网站有几千万数据，但是收录1000多W，抓取频次很低，每天只有2W多，最近看日志之蜘蛛频繁只抓取几个页面。请大佬科普原因以及解决方向
网址：www.yupao.com m.yupao.com

©dz插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
如有侵权请邮件与我们联系处理:discuz-x@qq.com（手机随时接收邮件）并出示相关证明以便删除。敬请谅解！

独家记忆 · 发表于 2022-1-12 14:57:50

首先确定是不是真蜘蛛
然后频繁抓取的页面是什么页面内容页还是？
解决方向考虑一下经常爬取的页面调用多点其他页面的链接看看能不能引蜘蛛爬过去

Crystαl · 发表于 2022-1-12 14:58:42

蜘蛛抓取的那几个页面，做新文章的超级链接，把蜘蛛引过去试试

IT618发布 · 发表于 2022-1-12 14:59:13

加内链，好事

TyCoding · 发表于 2022-1-12 14:59:31

他这个站，上百万收录，估计他不敢乱改

Crystαl · 发表于 2022-1-12 15:00:16

快排搞一下起飞了。

浅生 · 发表于 2022-1-12 15:01:09

收录这么多，怎么做到的

婷姐 · 发表于 2022-1-12 15:01:41

分析日志，看看都抓取的那些页面，分析为什么抓取这些页面，是这些页面内链做的好，还是这些页面有更新，找出原因，把没有蜘蛛抓取的页面也要做到常更新，最后最粗暴的方法，把没有收录没有索引的页面直接丢蜘蛛池里就行了

IT618发布 · 发表于 2022-1-12 15:01:49

先分析下经常抓取的链接是哪些，，看下这些链接页面是什么情况。。
是不是你这些链接在网站上入口比较好，更容易抓取，，，网站结构是不是其他链接不方便被抓取。。。

Crystαl · 发表于 2022-1-12 15:02:20

做一个文章发布后自动推送的功能。

然后把关一下那些用户发的信息吧，因为基本上都是一篇文章多个网站发布，就导致你的网站可能就是一个采集站了，对于搜索引擎来说。

蜘蛛频繁抓取某几个页面

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达
评论19

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

蜘蛛频繁抓取某几个页面

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达 评论19

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

电梯直达
评论19