·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹📱AI全功能
返回列表 发布新帖

蜘蛛虽然有些支持jS,但是奉劝小白不要买这个针对于静态生成的

[复制链接]
134 0
发表于 2026-2-5 21:49:35 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
蜘蛛虽然有些支持jS,但是奉劝小白不要买这个针对于静态生成的 准确率,函数,if,useragent,bot,蜘蛛,静态,有些,支持,小白
蜘蛛虽然有些支持jS,但是奉劝小白不要买这个针对于静态生成的。总结动态条件下,相对会好好很多的哈,静态的用JS基本大部分蜘蛛没有办法完全做到的。比如帝国CMS动态的,自定义函数在调用就完成了。相对准确性高几十倍
  1. //蜘蛛爬行统计function recordSpiderLog($tape) {global $empire,$dbtbpre,$class_r,$public_r,$memcache;$time = time();$ip = egetip();$useragent = strtolower($_SERVER['HTTP_USER_AGENT'] ?? '');if($tape=="pc"){$url = RepPostStr(rtrim($public_r['add_pcurl'],'/').$_SERVER['REQUEST_URI']);        }else{$url = RepPostStr(rtrim($public_r['add_murl'],'/').$_SERVER['REQUEST_URI']);        }$dupResult = memcacheRateLimit('spider_dup_', 15, 60, $url); //内存级限流自定义函数(1分钟请求15次)if (!$dupResult['allow']) {return false;}        $stats_setr = fetch_memcache0("select openstats,spiderstats,spiderkeywords from {$dbtbpre}ecmsextend_stats_set limit 1",'Memcached','ecmsextendspider',3600*24*1);if (empty($stats_setr[0]['spiderstats'])) {return false; }$spiderkeywords = $stats_setr[0]['spiderkeywords'] ?? '';$allBots = [];if (!empty($spiderkeywords)) {$lines = explode("\n", $spiderkeywords);foreach ($lines as $line) {$line = trim($line);if (empty($line) || strpos($line, '#') === 0) continue; // 跳过注释/空行$parts = explode('=', $line, 2);if (count($parts) === 2) {$botKeyword = strtolower(trim($parts[0]));$botName = trim($parts[1]);$allBots[$botKeyword] = $botName;}}}$bot = '其它';foreach ($allBots as $keyword => $botname) {if (strpos($useragent, $keyword) !== false) {$bot = $botname;break;}}$targetBots = ['百度', '360', '搜狗', '头条', '神马', '必应'];$isTargetBot = false;foreach ($targetBots as $target) {if (strpos($bot, $target) === 0) {$isTargetBot = true;break;}}if (!$isTargetBot) {return false; }$useragent =RepPostStr($useragent);$result = $empire->query("insert into {$dbtbpre}robots(id,robotsname,robotspage,oldurl,robotsip,riqi) values(null,'$bot','$useragent','$url','$ip','$time')");}
复制代码
比这个用函数封装的JS准确率高N倍了
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

最新热评 加载中...
AI智能体
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 ) 知道创宇云防御

您的IP:216.73.216.4(美国),GMT+8, 2026-11-4 17:37 , Processed in 0.624326 second(s), 41 queries , Gzip On, Redis On.

Powered by Discuz! X5.1 Licensed

© 2001-2026 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表