SPA 网站 SEO 实战:软 404、sitemap lastmod、别名域名重复收录

软 404、lastmod 不诚实、别名域名重复收录,是 SPA 站点常见的三类 SEO 问题;下面是我们各自的处理方式和测试做法。

先交代一下:文里的「我们」,指我在做的学习工具「求瑕」(把资料生成思维导图,每个节点翻面是一张记忆卡)这个项目;下面说的都是做它的时候遇到的事。

问题:SPA 的兜底路由,让搜索引擎看到的全是「200」

单页应用(SPA)有个常见特点:服务端对所有没有匹配到的路径,都回同一份 index.html,把「这个页面存不存在」交给前端路由去判断。对用户来说没问题,对搜索引擎就有问题:一个根本不存在的地址,也拿到了 HTTP 200 加一份能渲染的页面壳,爬虫会把它当成真实页面收录,形成大批「软 404」。

我们的站点在做内容页(专题、问答、对比、考试倒排页)时就遇到了这个问题。这篇文章记录我们怎么处理:真 404、llms.txt、由注册表生成的 sitemap,以及一个顺带发现的别名子域重复收录问题。

一、先让每个内容页族有一张「注册表」

我们的内容页都是由数据文件登记出来的:专题、问答、对比、考试倒排页,各有一个注册表(一个数组或一个按 slug 查找的函数)。页面是否存在,判断依据就是注册表里查不查得到,而不是前端路由。

这样做一次,后面三件事(404、sitemap、llms.txt)都从同一份数据出,不会出现「页面在、sitemap 里没有」或「sitemap 里有、页面其实 404」的不一致。

二、真 404:判断「这一族里查不到」

我们把每个请求路径归成几类,示意如下:

ts 复制代码
type RobotsClass = 'index' | 'private' | 'page' | 'unknown' | 'missing';

function classify(path: string): RobotsClass {
  if (isPrivate(path)) return 'private';                 // 登录页、个人页、一次性链接
  const m = /^\/(a|b|c)\/(.+)$/.exec(path);          // 有注册表的页面族
  if (m) return registryHas(m[1], m[2]) ? 'index' : 'missing';
  if (isStaticIndexable(path)) return 'index';
  return clientRouteExists(path) ? 'page' : 'unknown';   // 前端路由里有但不收录 / 疑似不存在
}

missing 这一类的处理是:回 HTTP 404,加上 noindex 响应头,页面主体仍然渲染同一份前端壳,用户看到的还是站内的「没有找到」页面。要点有几个:

  • 只对「有注册表的族」这样处理。登录后的私有页、前端路由里存在但不需要收录的页,行为都不变,避免误伤。
  • slug 区分大小写:服务端渲染本身就区分大小写,所以大小写不对的地址也是 404,不重定向。多出来的层级(比如 /q/a/b)同样查不到。
  • 有一个开关可以退回旧行为(200 + noindex),出了问题可以一键退回。

另一个相关的小处理:已经结束的考试对应的倒排页,页面仍然返回 200(因为外部的链接、分享、短链还要落在这里),但改成 noindex,不再让它占搜索结果。

三、sitemap 从注册表生成,lastmod 取内容日期

sitemap 不手写,由一个函数遍历各族注册表生成:

ts 复制代码
function sitemap(now: number): string {
  const urls = [
    ...topics.map(t => url(topicPath(t.slug), contentDay(t.slug))),
    ...qaItems.map(q => url(qaPath(q.slug), contentDay(q.slug))),
    ...activePages(now).map(p => url(pagePath(p), p.updated)), // 已结束的考试页不列
  ];
  return wrapXml(urls);
}

这里有三个细节:

  1. 只列「有效的」页面:已结束的考试页不进 sitemap;一个枢纽页(比如考试倒排页的列表页)只有在「该族至少有一张在收录的页」时才出,没页可列就既不出页面也不进 sitemap。
  2. lastmod 只在内容或模板真的变了才变。早期我们的 lastmod 是一个手写常量,等于首发日,而页面模板和部分内容后来改过多次,lastmod 就偏旧了。修法是给每条内容记一个「最后变化日」,同时记下当时内容的哈希;测试会重新计算每条内容的哈希,和表里记的对不上就报错,逼着改内容的人同时更新日期和哈希:不能偷偷改内容不动日期,也不能只改日期。另外,我们在导图共享中心的分区页上发现过一个同类问题:默认写法下,任何一个分区有改动,所有分区页的 lastmod 会一起变,等于告诉爬虫一堆没变的页面变了,这是一种虚假新鲜度。按分区各取各的写法已经有了,但还没有打开,所以这一条我们只能算「知道问题、还没收口」。
  3. 日期按北京日取当天中午:sitemap 的 lastmod 按 UTC 取日期,取北京当天 0 点会落到前一天,所以统一用中午。

四、llms.txt:给大模型的入口清单

llms.txt 是一个放在站点根目录的纯文本文件,列出站点是什么、有哪些核心页面,方便大模型类的检索系统抓取。我们的做法是分两份:

  • 短版(不超过 80 行):一句品牌定义、更新日期、核心页面入口(首页、导图库、问答、考试倒排枢纽、关于页等)。
  • 全量版:每个专题、每条问答、每个对比页的完整清单。

同样由注册表生成,和 sitemap 同源。品牌定义那一句是全站固定的一句话,各页、各平台保持一致,原因是检索系统认一个品牌,靠的就是「同一个东西在各处说法一致」。

此外,只在当天确实有内容的动态入口(比如「每日一图」)才会列进 llms.txt,没有内容的那天不列,避免给爬虫指向一个空页面。

五、顺带发现的问题:别名子域被当成第二个站

站点有一个指向同一个应用的别名子域,同一份内容在两个域名下都以 200 直出(canonical 指向主域),结果搜索引擎把它当成了第二个站收录。

处理方式是应用层按 Host 判断,只对「页面类的 GET / HEAD 请求」做 301 到主域同一路径,其余一律不动:接口请求、静态资源、爬虫文件(robots、sitemap、llms)、非 GET 请求、私有页(登录态页面等)。对在别名子域上用过、浏览器里留有本地数据的老访客不跳转,爬虫和首次来的人才 301。同样有一个开关能整体关掉。

六、测试怎么守

SEO 逻辑在后续改动里容易悄悄坏掉,所以每条规则都配了断言:注册表族里不存在的路径是 404 + noindex;存在的路径是 200;私有页不变;别名子域对页面类 301、对接口不动;各族的 sitemap 条目数与注册表一致。这批改动的测试文件里有两百多条断言,旧的 SEO 测试也按新口径同步更新。

可以带走的几条

  1. 让「页面存不存在」有唯一的数据来源,404、sitemap、llms.txt 才能自洽。
  2. 软 404 的修法不是改前端,是改服务端对「注册表族内查不到」的响应码,并留一个能退回的开关。
  3. lastmod 要诚实:只有内容或模板真的变了才改,宁可不变也不要虚假新鲜。
  4. 别名域名要尽早收口:同一份内容在两个域名下都 200,会被当成重复站点。
  5. 每条规则配断言,因为 SEO 行为不会因为页面坏了而报错,只会悄悄变差。

小结

  • 页面存在与否只看注册表
  • 注册表族内查不到回真 404
  • lastmod 只在内容或模板真的变了才变
  • 别名域名尽早收口

常见问题

SPA 要做服务端渲染吗?

不一定,但要收录的内容页,服务端直出正文和元信息更稳妥;我们对内容页族做了服务端渲染,其余登录后的应用页仍是 SPA。

404 页面还要渲染前端壳吗?

我们仍然渲染同一份壳,让用户看到站内「没有找到」提示,但响应状态码是 404,并带 noindex。

llms.txt 会被所有大模型读取吗?

无法确定。它是一个约定,不是标准,我们把它当作多一个让机器读懂站点的入口,不依赖它。


提示:文中代码为示意写法,非仓库原文;文中不含性能数字;规则和测试做法为我们自己的实现,请按你的站点验证。

本文在 AI 辅助下完成,文中的数字和结论都逐条核对过出处。

相关推荐
拓海SEO外贸23 天前
四款核心 SEO 工具的使用方法:GSC、GA4、Ahrefs、Semrush 保姆级教程
搜索引擎·seo·跨境电商·独立站搭建·seo优化
玫瑰互动GEO1 个月前
把GeoReady九维当工程项做:储能管理官网的AI就绪度改造笔记
人工智能·ai·ai搜索·seo优化·豆包·deepseek·geo优化
独立开发者阿乐1 个月前
豆包 AI 搜索收录站点的必要条件
人工智能·geo优化·ai爬虫·llms.txt·悬赏问答·豆包收录
独立开发者阿乐1 个月前
Kimi 搜索的抓取逻辑与内容适配
geo优化·llms.txt·kimi收录·ai搜索抓取·悬赏问答
独立开发者阿乐1 个月前
llms.txt 是什么?为什么 AI 爬虫需要这个文件
人工智能·爬虫·geo优化·ai爬虫·llms.txt·ai收录·robots.txt
天府云创1 个月前
GEO内容优化之读懂llms.txt 、robots.txt和sitemap.xml
markdown·schema·geo·结构化数据·sitemap.xml·llms.txt·llms-full.txt
zhaodezhu16881 个月前
AI 搜索时代医美获客新变局:从竞价排名到 GEO 内容资产--一网推
ai搜索·seo优化·geo内容·医美获客·竞价排名
独立开发者阿乐1 个月前
DeepSeek 会引用什么样的网页内容
人工智能·结构化数据·geo优化·ai爬虫·llms.txt·deepseek收录
独立开发者阿乐1 个月前
什么是 GEO:让 AI 搜索引擎引用你内容的完整指南
人工智能·搜索引擎·ai搜索引擎·geo优化·ai爬虫·llms.txt·clarabbs