主要内容
周二的一份公告称，主要互联网架构提供商 Cloudflare 现在将默认阻止已知的 AI 网络爬虫，以防止它们“未经许可或补偿地访问内容”。随着这一变化，Cloudflare 将开始询问新的域名所有者是否允许 AI 爬虫，并甚至允许一些发布商实施“按次爬行付费”费用。按次爬行计划将允许发布商为 AI 爬虫访问其内容设定价格。AI 公司随后可以查看价格并选择是否注册“按次爬行”费用或拒绝。目前这仅适用于“一些领先的发布商和内容创作者群体”，但 Cloudflare 表示将确保“AI 公司能够以正确的方式使用优质内容——获得许可并给予补偿”。
Cloudflare 一段时间以来一直在帮助域名所有者对抗 AI 爬虫。该公司于 2023 年开始允许网站阻止 AI 爬虫，但仅适用于遵守网站 robots.txt 文件的爬虫，这是一个无法强制执行的协议，表明机器人是否可以抓取其内容。去年，Cloudflare 开始允许网站阻止“所有”AI 机器人——无论它们是否尊重网站的 robots.txt 文件——现在对于新的 Cloudflare 客户，此设置已默认启用。（该公司通过将爬虫与已知的 AI 机器人列表进行比较来识别要阻止的爬虫。）
3 月，Cloudflare 还推出了一项功能，将网络爬行机器人送入“AI 迷宫”，以阻止它们未经许可地抓取网站。包括美联社、《大西洋月刊》、《财富》、Stack Overflow 和 Quora 在内的几家主要发布商和在线平台都支持 Cloudflare 的新 AI 爬虫限制，因为网站正在应对未来更多人通过 AI 聊天机器人而不是搜索引擎查找信息的情况。
Cloudflare 首席执行官 Matthew Prince 在上周的 Axios Live 活动中表示：“在过去的六个月里，人们更信任 AI，这意味着他们不再阅读原始内容。”此外，Cloudflare 表示正在与 AI 公司合作，帮助验证其爬虫并允许它们“明确说明其目的”，例如它们是否将使用该内容进行训练、推理或搜索。网站所有者随后可以查看此信息并决定允许哪些爬虫进入。
Prince 在新闻稿中表示：“原始内容是使互联网成为上世纪最伟大发明之一的原因，我们必须共同努力保护它。AI 爬虫一直在无限制地抓取内容。我们的目标是将权力交回创作者手中，同时仍帮助 AI 公司创新。”