四大 AI 巨头联手设"拒爬"标准：网站主有了统一退出开关

婷姐 · 发表于 5 天前

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

被各家 AI 爬虫轮番"薅"内容的网站主，终于等来一个统一的对付办法。11 月 1 日消息，OpenAI、谷歌、微软与 Anthropic 宣布将共同采用一套新标准，让内容发布方能够一次性声明"拒绝 AI 抓取"，而不必再挨家挨户去谈。

一个开关，多家通用
这套机制由 Anthropic 技术负责人 Kevin Kelley 提交给互联网工程任务组（IETF），并直接嵌进网站已有的 robots.txt 文件里。过去，robots.txt 只告诉搜索引擎哪些页面能抓、哪些不能，如今它的管辖范围被顺势延伸到 AI 训练。差别在于：以前发布方想拦某家 AI，得单独去它那儿登记偏好；有了新标准，一次写入就能同时通知多家。对那些苦于素材被悄悄喂进模型的媒体、社区与独立站而言，等于省掉了一堆重复谈判。

从各自为战到统一信号
推动这事儿的背景很现实——AI 爬虫四处抓取网页、把内容塞进训练集，发布方正为此焦头烂额，而"每家公司各设一套规则"的旧法子早已跑不赢。Anthropic 已率先吃下这套标准，OpenAI 称未来数月内落实，谷歌与微软预计明年跟进。连 Meta 发言人也表态支持建立通用信号，只是落地时间还没定。当四家掌握最多算力的巨头罕见在"如何被拒绝"上达成一致，内容版权这场拉锯，总算从混沌走向了可对话的桌面。

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！