防采集-刻不容缓---长期更新记录贴

左右不逢缘 · 发表于 2023-3-25 07:42:27

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

昨天上线的一个新站今天看日志发现所有搞的内容都被采了。。。郁闷
准备花点时间搞下这个防采集的、有这方面经验的坛友可以出来分享下、这个帖子就当长期记录了，直到把这个解决掉
////////////////////////////////////////////////////////////////////////////////////////////////很多人在用宝塔上的防cc攻击的用来防采集，其实这个好像没用，这个只能限制指定时间内访问单页面频率超标就屏蔽，若访问不同页面触发不了

目前测试的方法--获取用户指纹信息---经过自写的一个api系统判断------如果是恶意ip就提交宝塔api进黑名单。

©dz插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
如有侵权请邮件与我们联系处理:discuz-x@qq.com（手机随时接收邮件）并出示相关证明以便删除。敬请谅解！

浅生 · 发表于 2023-3-25 07:42:41

直接删除列表，文章全部错开。这样子应该不好采集了吧

婷姐 · 发表于 2023-3-25 07:42:56

这种都有搞、抓取频率的都有弄、可以换ip、遍历照样能搞、还可以通过site来采

Crystαl · 发表于 2023-3-25 07:43:34

防采集容易，但是和蜘蛛区分开来很难

TyCoding · 发表于 2023-3-25 07:43:48

本帖最后由無剑于 2023-3-24 23:55 编辑

容易？比如说呢？
我以前专门给人做采集也做了也算蛮久、没碰到过采集不了的、遇到稍微麻烦的就是指纹识别的、这个采集成本高。

浅生 · 发表于 2023-3-25 07:44:40

只要我不更新，他就采集不了我

浅生 · 发表于 2023-3-25 07:45:01

去掉分页不就完事了，就显示那么几条

浅生 · 发表于 2023-3-25 07:45:19

我几乎不用火车头，我猜火车头无法渲染js。很多人都用火车头采集，只要用复杂的js加载内容，就可以防住九成的采集。
同时，js逆向对新手程序员来说是困难的，新手程序员为了省事,会直接用selenium，但是这个玩意耗内存，爬不快。

婷姐 · 发表于 2023-3-25 07:45:38

一个成熟的采集肯定有自己的一套框架。。。。。
页面做加密处理这个不现实、试错成本有点高

TyCoding · 发表于 2023-3-25 07:46:21

防不了的，只是技术和成本的问题。只有拿起法律的武器

防采集-刻不容缓---长期更新记录贴

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达
评论17

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

防采集-刻不容缓---长期更新记录贴

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达 评论17

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

电梯直达
评论17