【本期摘要】 你花大价钱做的 SPA 官网、小程序、动态渲染页面,在浏览器里美轮美奂,但在 AI 搜索引擎眼里可能只是一堆空 div。核心结论:主流 AI 爬虫(GPTBot、PerplexityBot、ClaudeBot 等)大多不执行 JavaScript,只能读到服务端返回的初始 HTML。Erlin 2026 实测,JavaScript 渲染内容的 AI 解析成功率只有 23%,而带 schema 的静态 HTML 高达 94%。本文讲清"为什么漂亮站点是隐形人",并给出三步排查加四种修复的落地法,帮你在 AI 答案里重新现形。
核心结论
AI 引擎的爬虫大多不跑 JavaScript,动态渲染(SPA)站点在 AI 答案里是隐形的------放行爬虫只是门票,能不能被读到,取决于你的内容有没有躺在服务端返回的静态 HTML 里。
一、这是什么:AI 爬虫和 Googlebot 不是一回事
很多技术负责人有个根深蒂固的错觉:网站能打开、Google 能收录,AI 就一定能读到。这个判断在 2026 年会直接拖垮品牌的 AI 可见度。
传统搜索引擎的 Googlebot 是一台"会跑 JS 的浏览器",它能等待页面加载、执行脚本、把渲染后的完整 DOM 抓回去。但生成式引擎的检索爬虫是另一套逻辑------它们为了速度和成本,大多只取服务端返回的初次 HTML,不执行或只浅执行 JavaScript。
结果很魔幻:你在浏览器里看到的是排版精美的产品介绍,AI 爬虫拿到的却是一段 <div id="root"></div> 加一个 loading 动画。内容还在,但锁在客户端,没进 AI 的语料池。这就是"隐形人"------人眼可见,机器不可见。
二、为什么重要:数据摆在那,差距是 4 倍
这不是我拍脑袋。Erlin 2026 跟踪了 500+ 品牌在 ChatGPT、Perplexity、Gemini、Claude 上的表现,按内容格式拆出 AI 解析成功率:
|--------------------|--------------|
| 内容形态 | AI 解析成功率 |
| 带 schema 的静态 HTML | 94% |
| 无 schema 的纯静态 HTML | 68% |
| JavaScript 动态渲染 | 23% |
| PDF 文档 | 7% |
(数据来源:Erlin 2026 厂商观测报告,属方向性统计、非同行评审,但多家机构结论一致。)
差距一目了然:动态渲染内容的 AI 解析失败率高达 77%,和静态 HTML 差了 4 倍多。更隐蔽的是,Cloudflare 在 2026 年把"默认拦截 AI 爬虫"设成了新策略,很多站点的 AI 流量被悄无声息地关掉------你连"被漏掉"都不知道。
再叠加一个事实:每个缺失的结构化数据元素(没 llms.txt、没 FAQ schema、没对比表、JS 渲染、没 schema.org 标记)都会造成 6%-8% 的覆盖率缺口。五项全缺的品牌,提示词覆盖率只有 23%-35%;五项齐全的能到 60%-80%(Erlin 数据)。技术卫生不是加分项,是入场券。
这里有个反直觉的点:很多品牌把预算砸在"视觉炫"的交互上,却没人用 curl 看一眼源码。肉眼检查永远正常,只有无头抓取才暴露空壳------这正是 2026 年最隐蔽、也最容易被忽略的 GEO 失分项。
三、怎么落地:先排查,再改造
3.1 第一步:三步自查,确认你是不是隐形人
别凭感觉。三条命令式的检查,五分钟出结果:
- 看源码:浏览器打开站点,右键"查看网页源代码"(不是开发者工具的元素面板),搜你的核心文案。如果搜不到,说明内容在 JS 里,AI 大概率也读不到。
- curl 抓包 :终端跑
curl -s 你的网址 | grep 核心关键词。返回 HTML 里没有正文、只有脚本标签,那就实锤了。 - 查 robots :确认
robots.txt放行了 GPTBot、PerplexityBot、ClaudeBot、Applebot、OAI-SearchBot(呼应第 156 期:放行检索爬虫是前提,但放行之后还得能渲染)。
3.2 第二步:上静态壳(SSR/SSG),别让内容睡在客户端
最稳的修法是从框架层面解决------用服务端渲染(SSR)或静态生成(SSG)把首屏内容和关键答案段直接输出到 HTML。Next.js、Nuxt、Astro 这类框架的"静态壳加 hydrate"模式就是为此而生:人看到的是交互页面,AI 抓到的是完整文字。
如果暂时改不了架构,退而求其次:用预渲染(prerender)服务把重要页面生成静态快照,让爬虫拿到成品 HTML,而不是一个要跑脚本才出内容的空壳。
3.3 第三步:JSON-LD 写进预渲染的 head,不是 React 挂载后
newpublicmedia 2026 的实测点破了一个常见坑:React 挂载后才注入的 JSON-LD,大多数 AI 爬虫根本看不到,因为它们不跑 JS。所有 schema(FAQPage、HowTo、BlogPosting、BreadcrumbList)必须躺在预渲染的 HTML 里,随首包返回。
同时把 dateModified 每 6 个月刷新一次------83% 的 AI 引用来自近 12 个月更新过的页面,60% 来自近 6 个月(newpublicmedia 数据)。
3.4 第四步:llms.txt 列清单,给 AI 一张地图
在站点根目录放一份 llms.txt,用一句话描述每个关键页面。生成式引擎对带 llms.txt 的站点有约 12% 的引用率提升(generative.qa 2026 万级提示词基准,已控制域名权重)。成本低、信号真,属于"不部署就是亏"的那类动作。这一步和上面的静态壳配合,等于既给了门票、又给了座位。
四、常见问题 FAQ
Q1:我们网站 Google 能搜到,是不是就不用担心 AI 读不到?
不是。Googlebot 会执行 JavaScript,GPTBot、ClaudeBot 这类生成式检索爬虫大多不跑或浅跑 JS。Google 收录不等于 AI 可读,这是两套独立管道。第 147 期讲过"GEO 建在 SEO 地基上",但地基稳不等于楼能进 AI 的视野------内容得在静态 HTML 里才算数。
Q2:小程序和 H5 页面算动态渲染吗,AI 能抓吗?
小程序基本不在公开 Web 上,AI 爬虫抓不到,得靠微信公众号、官网等公开可被检索的载体承接(呼应第 160 期六大中文平台差异)。H5 如果是 JS 渲染、服务端只返壳,同样隐形,按本文三步自查即可。
Q3:纯前端框架(Vue/React SPA)就完全没救了?
有救。三条路:一、迁移到 SSR/SSG(Next/Nuxt/Astro),正解;二、接预渲染服务生成静态快照;三、至少把核心答案段和 JSON-LD 做服务端输出。哪怕只把"首屏 40-60 字答案块"(呼应第 184 期原子答案段)和 schema 预渲染,也能把解析成功率从 23% 拉回 68% 以上。
Q4:怎么验证改完真的有效?
改完用第一步的 curl 加查看源码复测,确认核心文案进了对 AI 而言是零成本。再上 GSC 的 Generative AI 报告(呼应第 140 期官方工具用法)看 AI 曝光趋势。别只看浏览器肉眼,那会骗你。
