网站和 SaaS 团队正在学习如何处理 AI 爬虫：有的希望获得问答引擎可见度，有的担心内容被抓取，有的只想把日志里的自动流量分清。Known Agents 相关讨论把一个更具体的问题摆到台面上：请求头里写着 ClaudeBot、Googlebot 或 ChatGPT-User，并不等于它真的来自这些服务。

防火墙面板正在验证可疑 AI 爬虫的 User-Agent 请求头 2026 年 8 月 12 日，Hacker News 上关于 Known Agents 的帖子引发讨论，标题提到有人冒充 ClaudeBot 等 AI bot 进行大规模漏洞扫描。更稳妥的理解是：这不是证明某家公司在扫描，而是说明攻击者可以把熟悉的 bot 名称当作伪装。管理员在日志中看到的 .env、/wp-login.php、管理入口、测试 API 和临时部署探测，可能只是披着 AI 爬虫外衣的普通扫描。

已确认的信息

Known Agents 的 Agentic Web Index 把自动化流量分成 AI 助手、AI 代理、编程代理、数据抓取器、AI 搜索爬虫、搜索引擎、安全扫描器、普通抓取器和未记录 AI 代理等类别。研究时页面显示：样本站点中 bot traffic 为 35%，其中 29% 与 AI 相关，AI chat referral volume 为 human visits 的 0.1%，robots.txt effectiveness 为 98.5%。这些数字来自其产品覆盖的 5,000 多个网站，不应当被说成整个互联网的普遍比例。

名称为什么不是身份

User-Agent 是客户端自报家门，不是签名。任何脚本、代理、扫描器或被入侵主机都可以发送一个熟悉字符串。日志会记录这个标签，但它无法证明来源组织、网络所有权、抓取目的或可信程度。过去这主要影响浏览器兼容和基础分析；现在同一字段可能被用于放行爬虫、降低速率限制、分类 AI referral 或压低安全告警，风险就大得多。

Google 对 Googlebot 的验证依赖反向 DNS 和正向解析匹配；Cloudflare 也区分 verified bots、AI bots 和未验证自动化流量。共同原则很清楚：要结合 IP、ASN、DNS、网络声誉、供应商文档和行为，而不是只看请求头。

对 AI 实践的影响

AI 采用让合法自动访问变多：用户让助手打开网页，AI 搜索抓取内容，训练抓取器大规模收集数据，编程代理访问文档和预览环境。它们的目的不同，策略也应不同。把所有 AI 字样都封掉，可能损失引用和可见度；把所有知名名称都放行，则给扫描器一件免费外衣。

robots.txt 仍然有价值，但它不是访问控制。它表达给合作爬虫看的规则，不能保护 staging、管理后台、私有 API 或临时工具。真正敏感的路径需要认证、网络限制、拒绝规则和监控。

具体做法

日志应记录原始 User-Agent、源 IP、ASN、托管商、反向 DNS、请求路径、状态码、速率、robots.txt 行为、challenge 结果和最终策略决定。没有这些字段，事后分析只能靠猜。

WAF 规则不要写成“包含 ClaudeBot 就允许”。更安全的做法是检查供应商文档、网络信誉、请求频率、路径敏感度和行为模式。无法完全验证时，把流量放到低信任通道：只给公共内容、保守限速、异常挑战、敏感路径拒绝。

允许列表要按目的维护。搜索引擎、AI 助手、安全供应商、内部工具和分析服务不应共用同一张表。每项都要有内部负责人、允许原因、验证依据、可访问路径和速率限制。没人能解释的条目应过期。

不该做什么

不要把 AI referral 分析和 bot 身份混在一起。知道一个人是否从 ChatGPT、Claude 或 Perplexity 来到网站，是受众归因；判断一个自动请求能否抓取，是安全策略。也不要因为标签看起来有名就降低告警优先级，更不要让它访问 staging、内部搜索、管理入口和未发布 API。

下一步

更长期的答案可能是签名 crawler 请求、verified-agent registry、面向高价值 API 的 mTLS 关系、合作伙伴 token 或平台证明。这些机制能减少伪造，但也可能提高小型爬虫门槛，让开放 Web 更接近许可访问。在标准成熟前，现实方案就是分层判断。

简短清单

本周可以检查五件事：日志字段是否足够；防火墙是否保护 .env、/admin、/wp-login.php、debug 和测试 API；robots.txt 是否区分训练、搜索和通用抓取；分析系统是否区分人类 referral 与自动访问；preview deployment、内部 dashboard 和 AI 生成工具是否默认需要认证。

核心结论很简单：AI 流量已经是普通基础设施流量，值得测量和治理。但它也成了好用的伪装。如果名称任何人都能打出来，它就不是护照，只是一个待验证的声明。

来源

Known Agents Agentic Web Index、ClaudeBot 和 ChatGPT-User 页面；Hacker News item 49272569；Anthropic、OpenAI、Google Search Central 与 Cloudflare 关于 bots、robots.txt、验证和 AI crawlers 的文档。