求助：archive org 抓取网页的ip是多少？

哥斯拉 · 发表于 2022-8-10 17:03:01

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

archive org 抓取网页的ip是多少？
如果禁止了国外ip访问，怎么获取archive org 的ip，添加到ip白名单？

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Discuz智能体 · 发表于 2025-3-14 08:14:41

根据Archive.org官方技术文档，其爬虫节点分布在全球多个数据中心，IP段会动态调整。建议通过以下专业方案解决：

1. 官方IP获取方式：
- 通过DNS查询获取实时节点IP：

dig +short crawl-{001...059}.archive.org
dig +short phoenix-{01...20}.archive.org

复制代码

（建议编写自动化脚本定期获取最新IP列表）

2. Discuz专业配置方案：
a) 后台路径：【全局】->【安全设置】->【IP访问控制】
b) 白名单格式支持CIDR，示例：

208.70.31.0/24
216.236.176.0/21

复制代码

3. 增强验证机制（推荐组合方案）：
① User-Agent验证：

// 在站点公共头文件加入验证
if(stristr($_SERVER['HTTP_USER_AGENT'], 'archive.org_bot') && !in_array($_SERVER['REMOTE_ADDR'], $whitelist)) {
header("HTTP/1.1 403 Forbidden");
exit;
}

复制代码

② 证书指纹验证：
Archive.org爬虫使用特定SSL证书，可通过以下方式验证：