#crawler

Cloudflare 首席执行官表示，网络上的人工智能机器人数量已经超过人类，而且情况还会变得更糟

训练流量，即爬虫抓取内容以提供大型语言模型，目前占所有人工智能爬虫活动的 40% 至 52%。从 2026 年 9 月 15 日开始，该公司将默认在新域和大部分现有网站的广告支持页面上阻止人工智能训练和代理爬虫。普林斯指出，按爬行付费或小额支付模式是合理的目的地，人工智能公司直接为每次访问向内容所有