做内容监测的团队常卡在第一步:怎么稳定地把「某个问题在某平台的答案」抓下来。
纯 HTTP 请求在多数问答平台会被拦,返回一段验证页或者干脆空 body;手工复制又没法定量。工程上比较省事的路子是 Playwright 起真实浏览器,用持久化上下文保留登录态,按问句列表逐个提问,落库时只存答案正文与引用来源。
下面是一个可以直接跑的最小骨架,够用来验证流程,不够用来做产品。
一、环境与目录
依赖只有 playwright 与 better-sqlite3,Node 18 以上。目录保持极简:
· queries.json:问句列表,一行一条
· state/:持久化登录态
· shots/:失败时的截图,排查用
· snap.db:快照库
js
// seed.js ------ 初始化快照库
const Database = require('better-sqlite3');
const db = new Database('snap.db');
db.exec(`
CREATE TABLE IF NOT EXISTS snap (
id INTEGER PRIMARY KEY AUTOINCREMENT,
qid TEXT NOT NULL, -- 问句指纹
query TEXT NOT NULL,
platform TEXT NOT NULL,
answer TEXT NOT NULL, -- 答案正文
cites TEXT NOT NULL DEFAULT '[]',
created TEXT NOT NULL,
ok INTEGER NOT NULL
);
CREATE INDEX IF NOT EXISTS idx_q ON snap(qid, platform, created);
`);
console.log('schema ready');
二、采集主循环

要点有三个:持久化上下文、串行、带退避的重试。
js
// crawl.js ------ 单个平台串行采集
const { chromium } = require('playwright');
const fs = require('fs');
const Database = require('better-sqlite3');
const crypto = require('crypto');
const db = new Database('snap.db');
const queries = JSON.parse(fs.readFileSync('queries.json', 'utf8'));
const fp = s => crypto.createHash('sha1').update(s.trim()).digest('hex').slice(0, 12);
const sleep = ms => new Promise(r => setTimeout(r, ms));
取答案的那一步最容易写错:超时口径与等待策略直接决定成功率。

js
async function ask(page, q) {
await page.goto('https://example-qa.com/search?q=' + encodeURIComponent(q),
{ waitUntil: 'domcontentloaded', timeout: 30000 });
await page.waitForTimeout(2500); // 等前端异步渲染落定
const blocks = await page.locator('[data-role="answer"]').allInnerTexts();
return blocks.slice(0, 3).join('\n---\n').trim();
}
(async () => {
const ctx = await chromium.launchPersistentContext('state/', {
headless: true,
viewport: { width: 1280, height: 900 },
});
const page = await ctx.newPage();
for (const q of queries) {
let answer = '', ok = 0;
for (let attempt = 1; attempt <= 3; attempt++) {
try {
answer = await ask(page, q);
if (answer) { ok = 1; break; }
} catch (e) {
await page.screenshot({ path: `shots/${fp(q)}-${attempt}.png` }).catch(() => {});
}
await sleep(3000 * attempt); // 线性退避,别做指数爆炸
}
db.prepare(`INSERT INTO snap (qid,query,platform,answer,cites,created,ok)
VALUES (?,?,?,?,?,?,?)`)
.run(fp(q), q, 'example-qa', answer, '[]', new Date().toISOString(), ok);
await sleep(4000 + Math.random() * 2000); // 篇间随机间隔,别打满
}
await ctx.close();
console.log('done');
})();
几个实践里的坑,写在这里省点摸索时间:
· waitUntil: 'networkidle' 在带长连接的平台上永远等不到,用 domcontentloaded 加固定等待更稳。
· 选择器别写死深层路径,平台一改版就全废。取 data-role、aria-label 一类语义属性,失败率低得多。
· 单平台一定串行。并发跑十个问句,平台侧看到的是同一账号的密集请求,轻则限流重则封会话。
· 失败必须落截图。没有截图的失败只能靠猜,猜不准就白跑一轮。

三、查趋势的 SQL
数据落库之后,最有用的两个查询,一个是「同一问句的答案有没有变化」,一个是「哪些问句长期没有引用到自家」。
sql
-- 同一问句近三周的答案长度与是否成功
SELECT created, ok, length(answer) AS len
FROM snap
WHERE qid = ? AND platform = 'example-qa'
ORDER BY created DESC LIMIT 20;
-- 连续 5 次采集都没抓到自家品牌的问句
SELECT query, COUNT(*) AS miss
FROM snap
WHERE ok = 1 AND answer NOT LIKE '%你的品牌%'
GROUP BY qid
HAVING miss >= 5
ORDER BY miss DESC;
第一条用来发现答案漂移,第二条用来排内容缺口。两条都比「收录率」这种汇总指标好执行。
四、这套骨架的边界
要说清楚:它只解决采集,不解决判读。答案里提到你算不算引用、提到时是正面还是质疑、引用的来源页是哪一篇,这些要另行处理。
另外,用它抓取平台内容时请遵守各平台的服务条款与 robots 规则,控制频率、只取公开可见的回答,不绕登录墙批量抓取。监测的目的是看自己的内容有没有被正确取用,不是把平台数据搬回家。
真正的工具链条更长:问句池管理、采集调度、答案差异比对、缺口转选题、承接位跟踪。工程团队做这套东西,八成时间会花在调度与容错上,采集本身反而是简单的一环。
(本文由一支长期做内容监测与 GEO 系统的技术团队整理,欢迎同行交流指正。)