云计算巨头 Cloudflare 推出 “按爬虫付费” 市场，让网站内容变现更轻松

婷姐 · 发表于 2025-7-2 20:54:12

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

Cloudflare近日宣布推出一个颠覆性的市场 ——“按爬虫付费”，旨在重塑网站拥有者与人工智能（AI）公司的关系。这一全新市场将帮助内容出版者更好地控制他们的内容，同时为 AI 公司提供一种公平的抓取内容的方式。

过去一年，Cloudflare 为应对 AI 爬虫的激增推出了多项工具，包括一键阻止所有 AI 爬虫的解决方案和监控 AI 爬虫访问情况的仪表板。Cloudflare 首席执行官马修・普林斯在接受采访时表示，这些工具为新市场的建立打下了基础。
云计算巨头 Cloudflare 推出 “按爬虫付费” 市场，让网站内容变现更轻松 Cloudflare,AI,爬虫,市场,网站

云计算巨头 Cloudflare 推出 “按爬虫付费” 市场，让网站内容变现更轻松 Cloudflare,AI,爬虫,市场,网站

在 “按爬虫付费” 市场中，网站拥有者可以决定让 AI 爬虫以特定的费率抓取他们的网站，或选择免费开放，甚至完全阻止爬虫访问。这种模式为网站提供了更多选择，使其能够掌控内容的使用权。

这一市场的推出恰逢新闻出版行业面临巨大挑战之际，特别是在谷歌搜索流量逐渐减少和 AI 聊天机器人日益流行的背景下。尽管一些大报社已经与科技公司签署了内容授权协议，但绝大多数中小型出版者依然没有获得公平的收益分配。Cloudflare 希望通过这一创新的商业模式，为更多出版者提供可持续的收入来源。

同时，Cloudflare 还宣布，所有新建网站将默认阻止 AI 爬虫，网站拥有者必须单独授予某些爬虫权限。这一措施得到了包括康泰纳仕、时代杂志、美国新闻社等多家大型出版商的支持，大家都期望借此实现 “基于许可的抓取” 模式。

然而，AI 时代给出版商带来的挑战不容忽视。最新数据显示，AI 爬虫的抓取频率远高于谷歌爬虫。以 OpenAI 的爬虫为例，它每次为出版商带来的推荐流量竟需被抓取1700次，而 Anthropic 更是需要73，000次。这使得出版商在依赖用户访问网站的商业模式上面临严峻考验。

Cloudflare 还表示，该市场的真正潜力在于未来 “智能代理” 的广泛应用。想象一下，用户通过智能代理程序获取最新的科研成果或法律信息，而这些代理程序可以按需为优质内容付费。

参与这一实验的 AI 公司和出版商需在 Cloudflare 上注册账户，通过平台设定价格和交易。虽然目前没有使用加密货币，Cloudflare 的 CEO 暗示未来可能会探索使用稳定币进行交易。
Cloudflare 的 “按爬虫付费” 市场为出版者提供了一条新的盈利路径，虽然还面临诸多挑战，但其潜力不可小觑。

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！