为 20% 的网络提供服务的云基础设施提供商 Cloudflare 周二宣布推出一个新市场，重新构想网站所有者和 AI 公司之间的关系——理想情况下，让出版商能够更好地控制他们的内容。
去年，Cloudflare 为出版商推出了工具，以应对 AI 爬虫的猖獗增长，包括阻止所有 AI 爬虫的一键式解决方案，以及用于查看 AI 爬虫如何访问其网站的仪表板。 在2024 年采访中，Cloudflare 首席执行官马修·普林斯 （Matthew Prince） 告诉 TechCrunch，这些产品正在为一种新型市场奠定基础，在这个市场中，出版商可以将其内容分发给 AI 公司并获得报酬。
现在，Cloudflare 正在让这个市场栩栩如生。
它被称为按爬行付费，Cloudflare 将于周二推出私人测试版的“实验”。 实验中的网站所有者可以选择让 AI 爬虫单独抓取他们的网站固定费率 — 每次 “抓取” 的小额付款。 或者，网站所有者可以选择让 AI 爬虫免费抓取他们的网站，或者完全阻止它们。 Cloudflare 声称，其工具将让网站所有者看到爬虫是否正在抓取他们的网站以获取 AI 训练数据、出现在 AI 搜索响应中或用于其他目的。
以下是网站所有者在按爬行付费中看到的内容图片来源：Cloudflare
在规模上，Cloudflare 的市场是一个可以提供的大创意出版商是 AI 时代的潜在商业模式，它也将 Cloudflare 置于这一切的中心。 随着 Google 搜索流量的消失和 AI 聊天机器人的普及，新闻出版商正面临关于如何触达读者的生存问题。
：关于新闻出版商将如何在 AI 时代生存，还没有一个明确的答案。 一些公司，如《纽约时报》，已经对科技公司提起诉讼，指控他们训练他们的 AI 模型未经许可在新闻文章上。 与此同时，其他出版商已经达成多年协议，授权他们的内容用于 AI 模型训练，并让他们的内容出现在 AI 聊天机器人的回复中。
即便如此，只有大型出版商达成了 AI 许可协议，目前尚不清楚它们是否提供了有意义的收入来源。 Cloudflare 旨在创建一个更持久的系统，让出版商可以按照自己的条件设定价格。
该公司周二还宣布，新网站现在，默认情况下，使用 Cloudflare 设置将阻止所有 AI 爬虫。 网站所有者必须授予某些 AI 爬虫访问其网站的权限——Cloudflare 表示，这一变化将为每个新域提供“默认控制权”。
包括康泰纳仕、《时代》杂志、美联社、《大西洋月刊》、《ADWEEK》和《财富》在内的几家大型出版商已与 Cloudflare 签约，默认阻止 AI 爬虫，以支持该公司“基于许可的爬取方法”的更广泛目标。
：这些出版商中许多几十年来所依赖的商业模式正在慢慢变得不可靠。 从历史上看，在线出版商允许 Google 抓取他们的网站以换取 Google 搜索中的推荐，从而转化为他们网站的流量，并最终获得广告收入。
然而，来自 Cloudflare 的新数据表明，出版商在 AI 时代的交易可能比 Google 搜索时代更糟糕。 虽然一些网站将 ChatGPT 列为主要流量来源，但似乎并非普遍如此。
今年 6 月，Cloudflare 表示，它发现 Google 的爬虫针对其网站提供的每次推荐都会抓取其网站 14 次。 同时，OpenAI 的爬虫每推荐一次抓取网站 1,700 次，而 Anthropic 每次推荐抓取网站 73,000 次。
与此同时，OpenAI 和 Google 正在构建 AI 代理，这些代理旨在代表用户访问网站、收集信息并将其直接返回给用户。 未来这些工具是主流的，对于依赖读者访问其网站的出版商来说，具有巨大的影响。
Cloudflare 指出，按爬行付费的“真正潜力”可能会在“代理”未来出现。
“如果代理付费墙可以完全以编程方式在网络边缘运行，那会怎样？ 想象一下，请您最喜欢的深入研究项目帮助您综合最新的癌症研究或法律简报，或者只是帮助您找到 Soho 最好的餐厅——然后给予该代理需要花费预算来获取最好和最相关的内容，“Cloudflare 在一篇博文中说。
要参与 Cloudflare 的实验市场，AI 公司和出版商都必须设置 Cloudflare 账户。 在他们的帐户中，双方都可以设置他们想要购买和出售发布商内容的 “抓取” 价格。 Cloudflare 在这些交易中充当中介，向 AI 公司收费并将收益分配给发行商。
Cloudflare 发言人 Ripley Park 告诉 TechCrunch，目前按爬行付费不涉及稳定币或加密货币，尽管许多人认为数字货币非常适合这样的事情。 然而，在周二的 TBPN 节目中，Prince 表示，Cloudflare 正在考虑“可能创建我们自己的稳定币，这将成为这些交易发生方式的一部分”，并与其他稳定币提供商合作。
Cloudflare 的市场感觉像是对未来的大胆愿景，需要许多出版商和 AI 公司参与进来。 尽管如此，不能保证出版商会得到一笔好交易，而且说服 AI 公司参与可能很困难，因为它们目前正在免费抓取内容。
尽管如此，Cloudflare 似乎是为数不多的能够实现此类市场的公司之一。
更新太平洋时间下午 2：50：本文已更新，包括 Cloudflare据 Cloudflare 报道，首席执行官在有关稳定币的播客上发表评论，并正确说明 OpenAI 在 6 月份的抓取与推荐比率。
