全球网路基础设施巨头 Cloudflare(NET-US) 试图建立 AI 时代的内容授权与付费机制，让 AI 公司未来不能再免费抓取全网资料训练模型，而必须取得授权或支付费用；若这套模式成功，可能彻底改变 Google(GOOGL-US)、OpenAI 等 AI 公司的资料取得方式，以及整个网路内容经济的商业模式。

Cloudflare 于近日正式宣布，要求所有 AI 公司必须在 2026 年 9 月 15 日前，将「搜寻引擎爬虫」与「AI 训练资料爬虫」的身份标识彻底分离，违者将遭全面封锁，无一例外。此举被业界视为对 AI 产业数十年来「白嫖」网路内容陋习的正式宣战。

根据 Cloudflare 监测数据，2026 年上半年，自动化机器人（Bot）产生的流量已正式超越真实人类流量，比业界原先预测的转折点整整提早一年。按照当前趋势推估，五年内机器与人类的流量比将达到 1000 比 1。

分析指出，当网路的主要使用者从人类变成 AI 时，底层商业秩序必然崩溃。

Cloudflare 掌管全球约 20% 的网路流量，免费提供内容传递网路（CDN）、网域名称系统（DNS）、DDoS 攻击防护及网页应用防火墙（WAF）等底层基础设施服务。

然而面对上述失衡现象，这位昔日「免费守护者」此次态度强硬、毫无退让。

问题的核心，在于生成式 AI 彻底颠覆了过去运行三十年的搜寻引擎与流量反哺机制。

在传统模式下，网站提供优质内容，Google 等搜寻引擎爬虫前来抓取，并将流量回导至原站，网站主靠广告获利，形成双赢闭环。然而，AI 大厂的爬虫如今大规模扫荡网页内容用于模型训练，却几乎不回馈任何流量。

第三方审计数据显示，OpenAI 旗下的 GPTBot 爬取一个网站约 1,500 次，仅能带来 1 次实际点击。当 Google 搜寻结果出现 AI 生成摘要时，使用者点击原始连结的机率暴跌至 8%，点击摘要内引用连结的比例更低至 1%。

这使「零点击搜寻」时代俨然到来，创作者的流量回馈几近于零。

Cloudflare 指出，越来越多 AI 爬虫蓄意伪造用户代理（User-Agent）标头，假冒搜寻引擎爬虫身份，借此绕过 robots.txt 限制、无限制下载网页内容。

这使网站主面临两难困境，全面封锁则连搜寻排名也一并丧失，不封锁则任由内容被窃取，进退皆难。

为此，Cloudflare 依据《Configure AI bot policies》白皮书，正式将自动化流量分为三大类别：

• 搜寻类：为传统搜寻引擎建立索引并回导流量
• 智慧代理类：用户即时查询所触发的检索增强生成（RAG）行为
• 训练类：无差别大规模资料抓取，用于大型语言模型预训练

自 2026 年 9 月 15 日起，所有新接入 Cloudflare 的网域，安全策略将预设为「允许搜寻类、预设拦截训练类与代理类」。

若有业者仍派出兼具搜寻与训练用途的混合爬虫，将依最严标准处置，100% 全面封锁，连搜寻功能亦一并禁止。

针对试图伪装的爬虫，Cloudflare 也备有反制手段，包括行为分析、TLS 指纹识别，以及「AI 迷宫蜜罐」技术，在瞬间动态生成无限虚假页面，诱使爬虫陷入死循环，大量消耗其算力与频宽成本。

Google 首当其冲　搜寻霸主陷入两难

分析指出，Google 是此次受冲击最深的业者。

长期以来，Google 凭借全球逾 90% 的搜寻市占率，以旗下 Googlebot 畅行无阻地抓取网路内容，并将所得资料用于训练 Gemini 大型语言模型。

由于没有任何网站敢冒着被搜寻引擎除名的风险拒绝 Google 爬虫，其掌握的资料量已达其他主要 AI 公司的两倍以上。

Cloudflare 甚至在声明中直接点名批评，指 Google 将网站陷入「若不配合 AI 训练，就难以在搜寻结果中曝光」的被动处境。

一旦期限届至，Google 将面临艰难抉择：若不拆分 Googlebot，将丧失对全球 20% 网页的索引能力，搜寻品质出现灾难性下滑；若正式分拆，明确区隔搜寻爬虫与训练爬虫，Gemini 的训练资料来源将立即面临断炊危机。

相较之下，OpenAI 早已预先拆分爬虫。GPTBot 专责训练资料抓取，ChatGPT-User 专责即时连网查询，因此在合规层面所受冲击相对较小。

封锁之外　Cloudflare 推新机制坐收「过路费」

Cloudflare 此番动作，并非单纯出于正义，商业考量同样清晰可见。

早在 2025 年 7 月，Cloudflare 便试行「Pay Per Crawl」（按爬取次数付费）机制，惟因定价机制无法区分优质与劣质内容，业界反应冷淡。

此次趁势推出升级版「Monetization Gateway」（货币化闸道）及「Pay Per Use」（按使用次数付费）机制。

新机制的运作逻辑是：当 AI 在回复用户问题时引用了受 Cloudflare 保护的网站内容，系统即透过数位指纹与 API 审计技术确认版权归属，并向 AI 公司收取授权费用，再分润予原创网站，Cloudflare 则从中抽取手续费。

如此一来，AI 公司无需与全球数千万个中小网站逐一签订授权协议，只要接入 Cloudflare 统一 API 并预存「版权保证金」，即可合法取用全球 23.5% 的网路内容。

Cloudflare 执行长表示，目标是打造一套能支援每秒 1,000 万笔金融交易的基础设施，未来更需扩展至每秒 1 亿笔，规模将超越现有 Visa 支付网路两个数量级。

分析：创作者经济或现转机　中小 AI 公司恐加速出局

业界分析人士指出，此次政策转向将带来几项深远影响：

首先，AI 模型的资料成本将大幅攀升，高品质公开网页资料正式进入有价时代，原本被视为前景黯淡的创作者经济，或将因此迎来转机，从「向人类贩售广告眼球」转型为「向 AI 贩售高密度语料」。

其次，资金有限的中小型 AI 新创公司，将因无力负担高涨的版权费用而遭加速淘汰，市场整合效应可期。

此外，若 Cloudflare 成功确立行业标准，Akamai 等其他基础设施业者大概率将跟进，形成更广泛的产业规范。

这场由网路基础设施巨头发起的「流量革命」，究竟能否终结 AI 资本对创作者生态的掠夺式扩张，9 月 15 日将是关键的第一个观察节点。