Cloudflare新规要求AI公司付费使用出版商内容 引发行业热议

背景

近年来，AI模型训练对网络内容的依赖日益加深，爬虫流量已超过人类流量。出版商担心自家文章被免费抓取用于商业化AI服务，呼吁建立付费机制。作为全球领先的边缘网络平台，Cloudflare决定在其默认设置中区分传统搜索爬虫和用于AI训练、代理的爬虫。

新政策要点

• 生效时间：2026年9月15日起，对所有新客户、现有免费客户以及新建站点生效。
• 默认阻断：混合用途爬虫（同时用于搜索、AI 代理和训练）将在带有广告的页面上被默认阻止。
• 可选设置：站点所有者可自行调整防护策略，选择允许或继续阻断。
• 付费机制：推出“Pay Per Crawl”升级版“Pay Per Use”，出版商可在内容被AI公司实际产生价值时收取费用，而非仅仅抓取一次。

对AI公司的影响

• 访问成本上升：需要为每次使用出版商内容的实际价值支付费用，可能导致训练成本显著增加。
• 技术调整：AI公司必须对爬虫进行标签化管理，确保搜索爬虫与训练爬虫分离，以免被默认阻断。
• 合作机会：Cloudflare已与 Ceramic.ai 和 You.com 达成首批合作，提供可定制的付费模型，其他AI企业可参考其接口实现。

出版商的收益方案

• 直接付费：当内容出现在 Ceramic.ai 的 AI 搜索结果或被 You.com 的付费检索使用时，出版商将收到对应收益。
• 带宽与算力节约：据Cloudflare 数据，超过 50% 的 AI 爬虫流量是对未变化页面的重复抓取，付费机制有望降低无效流量，减轻服务器压力。

行业反应与展望

• Google 的回应：Google 强调其提供的 Google Extended 机器人已可让站点选择不用于训练，且不影响搜索收录。
• 业界观点：多数分析师认为，此举为 AI 生态建立更可持续的商业模型提供了参考，但也可能导致小型模型团队因成本压力而受限。
• 未来走向：随着“非人类流量”成为主流，监管与商业化手段将进一步细化，AI 公司与内容提供方的合作模式或将进入付费共生的新阶段。