Go 站点地图生成器:从首页爬全站,一键生成 sitemap.xml

Go 站点地图生成器:从首页爬全站,一键生成 sitemap.xml

sitemap 是网站给谷歌的"目录",列出你有哪些页面、在哪。很多外贸独立站要么没有 sitemap,要么是建站时生成一次就再也没更新过,新页面迟迟不被收录。自己维护一份准确的 sitemap 最靠谱。这篇用 Go 写一个站点地图生成器:从首页出发,顺着内部链接爬全站,自动生成一份 sitemap.xml 骨架。

sitemap 的标准和生成要求看谷歌官方说明:构建 sitemap。

工具能做什么

  1. 从首页出发,顺着站内链接自动爬取
  2. 只收集本站页面,过滤外链、锚点、JS 链接
  3. 去重、排序,输出标准 sitemap.xml 骨架

用 Go 标准库实现,不需要任何第三方依赖。

完整代码

go 复制代码
package main

import (
	"fmt"
	"io"
	"net/http"
	"net/url"
	"os"
	"regexp"
	"sort"
	"strings"
)

var hrefRe = regexp.MustCompile(`(?i)href=["']([^"']+)["']`)

func main() {
	start := "https://example.com"
	if len(os.Args) > 1 {
		start = os.Args[1]
	}
	base, err := url.Parse(start)
	if err != nil {
		fmt.Println("URL 解析失败:", err)
		os.Exit(1)
	}

	visited := map[string]bool{}
	queue := []string{start}
	client := &http.Client{}

	for len(queue) > 0 {
		current := queue[0]
		queue = queue[1:]

		if visited[current] {
			continue
		}
		visited[current] = true

		resp, err := client.Get(current)
		if err != nil || resp.StatusCode != 200 {
			if resp != nil {
				resp.Body.Close()
			}
			continue
		}
		body, _ := io.ReadAll(resp.Body)
		resp.Body.Close()

		for _, m := range hrefRe.FindAllSubmatch(body, -1) {
			raw := strings.TrimSpace(string(m[1]))
			if raw == "" || strings.HasPrefix(raw, "#") ||
				strings.HasPrefix(raw, "javascript:") || strings.HasPrefix(raw, "mailto:") {
				continue
			}
			u, err := url.Parse(raw)
			if err != nil {
				continue
			}
			abs := base.ResolveReference(u)
			abs.Fragment = ""
			abs.RawQuery = ""
			if abs.Host != base.Host {
				continue
			}
			if !visited[abs.String()] {
				queue = append(queue, abs.String())
			}
		}
	}

	keys := make([]string, 0, len(visited))
	for k := range visited {
		keys = append(keys, k)
	}
	sort.Strings(keys)

	fmt.Println(`<?xml version="1.0" encoding="UTF-8"?>`)
	fmt.Println(`<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">`)
	for _, k := range keys {
		fmt.Printf("  <url><loc>%s</loc></url>\n", k)
	}
	fmt.Println(`</urlset>`)
	fmt.Printf("\n共 %d 个页面,把上面这段保存成 sitemap.xml 放到网站根目录\n", len(keys))
}

怎么用

bash 复制代码
go run sitemap-gen.go https://你的域名

程序会从首页开始爬,把站内所有能顺着链接到达的页面找出来,输出一份标准 sitemap.xml。把输出重定向到文件:

bash 复制代码
go run sitemap-gen.go https://你的域名 > sitemap.xml

三个要注意的点

依赖内链,孤立页面进不来。 这个生成器是靠内链爬的,所以"从任何页面都链不到的孤立页面"不会被收录进 sitemap。如果爬出来发现少了页面,说明那些页面有孤立问题,先补内链。

只收集 200 页面。 返回 404、500 的页面不会被加进 sitemap,这是对的。sitemap 里不该有死链,否则谷歌会认为你的 sitemap 质量差。

生成后记得提交。 sitemap.xml 放到网站根目录后,去 Search Console 里提交一下地址,谷歌才会尽快来读。提交一次,后面它自己会定期重抓。

写在最后

sitemap 是站点收录的"目录表",一份准确、完整的 sitemap,能让谷歌更快发现并收录你的页面。这个生成器胜在零依赖、能跑出真实的站点结构,配合定期重新生成,sitemap 就不会一直是建站时那份过期的老目录。

延伸阅读:谷歌 SEO 系统实操。

觉得有用欢迎点赞、收藏、转发,有疑问评论区留言或私信交流。

相关推荐
米小虾16 分钟前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界33 分钟前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8311 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0681 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌1 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
阿里云大数据AI技术1 小时前
把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构
人工智能
TDengine (老段)2 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
佛系1892 小时前
从服务端日志精确分离搜索抓取、监控探测与真实流量的实操清单
ai·大模型·seo·geo·结构化数据·indexnow
ShineWinsu3 小时前
对于Qt:QGripLayout常见属性、方法以及QSizePolicy的解析
开发语言·c++·qt·面试·gui·客户端·网格
甲维斯3 小时前
GPT6.2“买家秀”来了,吼吼呵呵!
人工智能