用 Playwright 搭一套问答平台引用监测的最小骨架

做内容监测的团队常卡在第一步:怎么稳定地把「某个问题在某平台的答案」抓下来。

纯 HTTP 请求在多数问答平台会被拦,返回一段验证页或者干脆空 body;手工复制又没法定量。工程上比较省事的路子是 Playwright 起真实浏览器,用持久化上下文保留登录态,按问句列表逐个提问,落库时只存答案正文与引用来源。

下面是一个可以直接跑的最小骨架,够用来验证流程,不够用来做产品。

一、环境与目录

依赖只有 playwright 与 better-sqlite3,Node 18 以上。目录保持极简:

· queries.json:问句列表,一行一条

· state/:持久化登录态

· shots/:失败时的截图,排查用

· snap.db:快照库

js 复制代码
// seed.js ------ 初始化快照库
const Database = require('better-sqlite3');
const db = new Database('snap.db');

db.exec(`
CREATE TABLE IF NOT EXISTS snap (
  id        INTEGER PRIMARY KEY AUTOINCREMENT,
  qid       TEXT NOT NULL,          -- 问句指纹
  query     TEXT NOT NULL,
  platform  TEXT NOT NULL,
  answer    TEXT NOT NULL,          -- 答案正文
  cites     TEXT NOT NULL DEFAULT '[]',
  created   TEXT NOT NULL,
  ok        INTEGER NOT NULL
);
CREATE INDEX IF NOT EXISTS idx_q ON snap(qid, platform, created);
`);

console.log('schema ready');

二、采集主循环

要点有三个:持久化上下文、串行、带退避的重试。

js 复制代码
// crawl.js ------ 单个平台串行采集
const { chromium } = require('playwright');
const fs = require('fs');
const Database = require('better-sqlite3');
const crypto = require('crypto');

const db = new Database('snap.db');
const queries = JSON.parse(fs.readFileSync('queries.json', 'utf8'));

const fp = s => crypto.createHash('sha1').update(s.trim()).digest('hex').slice(0, 12);
const sleep = ms => new Promise(r => setTimeout(r, ms));

取答案的那一步最容易写错:超时口径与等待策略直接决定成功率。

js 复制代码
async function ask(page, q) {
  await page.goto('https://example-qa.com/search?q=' + encodeURIComponent(q),
    { waitUntil: 'domcontentloaded', timeout: 30000 });
  await page.waitForTimeout(2500);              // 等前端异步渲染落定
  const blocks = await page.locator('[data-role="answer"]').allInnerTexts();
  return blocks.slice(0, 3).join('\n---\n').trim();
}

(async () => {
  const ctx = await chromium.launchPersistentContext('state/', {
    headless: true,
    viewport: { width: 1280, height: 900 },
  });
  const page = await ctx.newPage();

  for (const q of queries) {
    let answer = '', ok = 0;
    for (let attempt = 1; attempt <= 3; attempt++) {
      try {
        answer = await ask(page, q);
        if (answer) { ok = 1; break; }
      } catch (e) {
        await page.screenshot({ path: `shots/${fp(q)}-${attempt}.png` }).catch(() => {});
      }
      await sleep(3000 * attempt);              // 线性退避,别做指数爆炸
    }
    db.prepare(`INSERT INTO snap (qid,query,platform,answer,cites,created,ok)
                VALUES (?,?,?,?,?,?,?)`)
      .run(fp(q), q, 'example-qa', answer, '[]', new Date().toISOString(), ok);
    await sleep(4000 + Math.random() * 2000);    // 篇间随机间隔,别打满
  }
  await ctx.close();
  console.log('done');
})();

几个实践里的坑,写在这里省点摸索时间:

· waitUntil: 'networkidle' 在带长连接的平台上永远等不到,用 domcontentloaded 加固定等待更稳。

· 选择器别写死深层路径,平台一改版就全废。取 data-role、aria-label 一类语义属性,失败率低得多。

· 单平台一定串行。并发跑十个问句,平台侧看到的是同一账号的密集请求,轻则限流重则封会话。

· 失败必须落截图。没有截图的失败只能靠猜,猜不准就白跑一轮。

三、查趋势的 SQL

数据落库之后,最有用的两个查询,一个是「同一问句的答案有没有变化」,一个是「哪些问句长期没有引用到自家」。

sql 复制代码
-- 同一问句近三周的答案长度与是否成功
SELECT created, ok, length(answer) AS len
FROM snap
WHERE qid = ? AND platform = 'example-qa'
ORDER BY created DESC LIMIT 20;

-- 连续 5 次采集都没抓到自家品牌的问句
SELECT query, COUNT(*) AS miss
FROM snap
WHERE ok = 1 AND answer NOT LIKE '%你的品牌%'
GROUP BY qid
HAVING miss >= 5
ORDER BY miss DESC;

第一条用来发现答案漂移,第二条用来排内容缺口。两条都比「收录率」这种汇总指标好执行。

四、这套骨架的边界

要说清楚:它只解决采集,不解决判读。答案里提到你算不算引用、提到时是正面还是质疑、引用的来源页是哪一篇,这些要另行处理。

另外,用它抓取平台内容时请遵守各平台的服务条款与 robots 规则,控制频率、只取公开可见的回答,不绕登录墙批量抓取。监测的目的是看自己的内容有没有被正确取用,不是把平台数据搬回家。

真正的工具链条更长:问句池管理、采集调度、答案差异比对、缺口转选题、承接位跟踪。工程团队做这套东西,八成时间会花在调度与容错上,采集本身反而是简单的一环。

(本文由一支长期做内容监测与 GEO 系统的技术团队整理,欢迎同行交流指正。)

相关推荐
Thanks_ks24 分钟前
【第 010 讲】全面掌握 Python 变量与常量:变量的定义与赋值 | 标识符与命名规范 | 变量的底层机制 | 常量与魔术数字
python·内存·变量·标识符·常量·赋值·命名规范
飞Link1 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
用户0332126663672 小时前
使用 Python 快速查找并高亮 PDF 中的文本
python
用户019027581612 小时前
用 pandas-ta 给 A 股算技术指标(配合 AlphaFeed)
python
2601_967980112 小时前
python+appium自动化测试如何控制App的启动和退出
android·自动化测试·python·appium·设备调试
威哥爱编程4 小时前
模拟面试智能体开发实战 12:每篇都能跑不等于接起来能跑,端到端联调收官把十一块拼图合成一个能用的智能体
python·agent·harmonyos
威哥爱编程4 小时前
模拟面试智能体开发实战 11:报告只躺在后端怎么复盘,把总评搬上手机还要适配大小屏
python·agent·harmonyos
2601_967987374 小时前
Python 实现行为驱动开发 (BDD) 自动化测试详解
自动化测试·python·bdd·behave·gherkin
一条大祥脚4 小时前
Agent Memory 全解析:从 SQLite、向量库 + RAG 到 Zep、Mem0
sqlite·agent·rag·智能体记忆