摘要：SEO 巡检不应该只看标题和关键词。一个更完整的 Agent 可以同时检查页面可读内容、性能评分、DNS、SSL 证书和 WHOIS 信息，把内容问题和站点基础状态一起纳入巡检报告。
关键词：SEO 巡检 Agent、网页性能评分 API、DNS 查询 API、SSL 证书 API、WHOIS API
问题背景
站点 SEO 问题通常分散在多个层面：页面正文是否可读、标题是否完整、加载性能是否异常、域名解析是否正确、证书是否临近到期。人工巡检容易漏项，单纯内容分析又看不到域名和证书状态。
Agent 可以把这些检查组合成定时任务，输出一份可追踪的 SEO 巡检记录。
Agent 工作流
接口编排
| 检查项 | 接口 | 请求方式 | 用途 |
|---|---|---|---|
| 页面正文 | 网页可读内容抽取 | POST | 判断页面主体内容是否可抽取 |
| 性能和 SEO | 网页性能与 SEO 评分 | GET | 获取页面速度和 SEO 相关评分 |
| DNS | 域名 DNS 信息查询 | GET | 检查解析记录 |
| SSL | 域名 SSL 证书信息解析 | GET | 检查证书信息和有效期 |
| WHOIS | 域名 Whois 查询 | GET | 获取域名注册相关信息 |
调用示例
bash
curl -G "https://api.gugudata.com/websitetools/pagespeed-score" \
--data-urlencode "appkey=YOUR_APPKEY" \
--data-urlencode "url=https://www.example.com/"
bash
curl -G "https://api.gugudata.com/v2/websitetools/dns-lookup" \
--data-urlencode "appkey=YOUR_APPKEY" \
--data-urlencode "domain=example.com"
bash
curl -G "https://api.gugudata.com/v2/websitetools/sslcertinfo" \
--data-urlencode "appkey=YOUR_APPKEY" \
--data-urlencode "domain=example.com"可以把巡检结果归一成统一结构：
python
def build_audit_item(name: str, status: str, detail: str) -> dict:
"""Build a normalized SEO audit item."""
return {
"name": name,
"status": status,
"detail": detail,
}巡检报告结构
| 模块 | 内容 |
|---|---|
| 内容检查 | 页面是否可抽取、正文长度、标题完整度 |
| 性能检查 | 页面速度、SEO 评分、可优化项 |
| 域名检查 | DNS 解析、WHOIS 信息、SSL 证书状态 |
| 行动建议 | 需要立刻处理、观察、可排期优化的事项 |
错误处理
站点不可访问时，Agent 应先记录访问失败，再停止依赖页面内容的检查。DNS 或 SSL 查询失败时，不要把它解释成 SEO 内容问题，而应归类为站点基础状态异常。定时巡检最好保存上次结果，用变化趋势判断是否需要告警。
工程注意点
- 定时任务要控制频率，不要对同一个站点做过高并发巡检。
- 巡检报告要面向业务动作，不要堆砌无关技术细节。
- 对异常项保留原始接口状态，方便排查。
- 对首页、栏目页和重点落地页分别建任务，不要只看一个 URL。
标准架构拆解
SEO 巡检 Agent 可以按"页面层、站点层、报告层"设计：
| 层级 | 责任 |
|---|---|
| 页面层 | 抽取正文、检查页面性能和 SEO 评分 |
| 站点层 | 检查 DNS、SSL、WHOIS 等域名基础状态 |
| 规则层 | 判断异常级别和处理优先级 |
| 报告层 | 输出巡检摘要、问题列表和行动建议 |
| 趋势层 | 对比历史结果，识别持续恶化的问题 |
页面层和站点层要分开。正文抽取失败不一定代表域名异常，SSL 证书问题也不一定影响页面内容质量。报告层需要把问题归类清楚，才能让运营和研发分别处理。
数据流与接口边界
推荐流程：
- 任务系统按站点和 URL 列表触发巡检。
- 页面层调用可读内容抽取和页面速度评分。
- 站点层调用 DNS、SSL 和 WHOIS 查询。
- 规则层把接口结果归类为健康、观察中、异常。
- 报告层生成摘要和问题表。
- 趋势层对比上一轮结果，决定是否告警。
接口边界上，页面速度评分和正文抽取是 URL 级能力，DNS、SSL、WHOIS 是域名级能力。一个站点可以有多个 URL，但域名检查不需要对每个 URL 重复执行。
可靠性与观测
建议记录：
| 指标 | 用途 |
|---|---|
| page_audit_success_rate | URL 级巡检成功率 |
| domain_audit_success_rate | 域名级巡检成功率 |
| seo_score_delta | SEO 分数变化 |
| certificate_days_left | SSL 剩余有效期 |
| repeated_issue_count | 连续出现的问题数量 |
告警不宜只看单次失败。外部网络波动会导致偶发异常，更可靠的策略是连续多次失败或关键指标明显下降时再通知负责人。
落地清单
- URL 级任务和域名级任务分开调度。
- 巡检结果保留上次值和本次值，报告里展示变化。
- SSL 到期、DNS 异常和页面不可读应分不同优先级。
- 每条问题都给出负责人可执行的下一步。
- 对重点页面建立单独监控，不只巡检首页。
可扩展方向
可以继续接入 URL 链接提取，自动发现站内重点页面；也可以接入文本摘要，把每次巡检报告压缩成日报，发送给运营或技术团队。