浏览器里看得见,不等于爬虫读得到。产品页若由 JavaScript 在客户端渲染,服务端返回的 HTML 里往往只有一个空壳------这是外贸站最常见、也最容易被忽略的可抓取性问题。下面三个动作就能判断自己的站属于哪一类。
一、先分清「看得见」和「读得到」
页面在浏览器里正常显示,不等于爬虫能读到内容。三种情况最常见:
-
内容由 JavaScript 在客户端渲染,服务端返回的 HTML 里只有一个空壳。
-
图片懒加载,规格表是一张图,alt 里没有参数。
-
列表用无限滚动,翻到第 20 个产品才出现的内容,爬虫一次也拿不到。
AI 抓取与搜索引擎抓取都依赖服务端可读的 HTML。前端做得再漂亮,源码里没有内容,就等于没写。
二、判断自己的站属于哪一类
三个动作就能判断:
-
浏览器里按 Ctrl+U 看源码(不是 F12 的 Elements),搜一个产品型号。搜不到 → 客户端渲染。
-
关掉 JavaScript 再打开产品页,看规格是否还在。
-
用命令行请求一次页面,把返回的 HTML 存下来,看有没有正文。
第二步和第三步是最直接的证据,不需要任何工具。
三、三种渲染方式的取舍
|------------|-----------|-------------|
| 方式 | 爬虫可读性 | 适用场景 |
| 服务端渲染(SSR) | 最好,源码即内容 | 产品页、分类页、文章页 |
| 静态生成(SSG) | 最好,构建时生成 | 内容更新不频繁的站 |
| 客户端渲染(CSR) | 最差,需额外处理 | 登录后后台、交互型工具 |
产品页与文章页优先服务端渲染。价格、库存这类高频变动的字段,也要保证首屏 HTML 里有值,不要等 JS 算完再插入。
四、三个具体的坑
-
价格用 JS 渲染:部分抓取工具只取服务端 HTML,渲染后的价格读不到,AI 回答里就不会出现报价区间。
-
规格做成图片 :图片里的参数对机器是不可见的;alt 也承载不了表格结构。
-
无限滚动代替分页:没有可枚举的 URL,就没有可被抓取的列表页;分页链接要真实存在。
五、校验清单
|---------|------------|------------|
| 检查项 | 合格标准 | 常见错误 |
| 产品页源码 | 型号与规格可搜到 | 只有空壳 div |
| 关闭 JS | 正文仍完整 | 整页空白 |
| 分页 | 有真实 URL | 只有「加载更多」按钮 |
| 图片规格 | 参数以文本呈现 | 规格只在图里 |
| 价格 | 首屏 HTML 有值 | 等 JS 计算后插入 |
六、一个必须说清的前提
可抓取性解决的是「内容能被读到」,不解决「一定被引用」。普林斯顿大学的对照实验(KDD 2024)显示,针对生成式引擎做专门优化的内容平均可见度提升约 40%;C-SEO Bench 的评测(NeurIPS 2025)指出,多数常见做法效果并不显著。前者是必要条件,不是结果保证。
常见问题(FAQ)
-
一定要签年框吗? 不一定。只缺一段的签单项项目制更划算;连执行的人都没有,才需要年框。
-
年框单价更低,为什么不推荐所有人? 因为摊薄。四五个模块各做一点,通常不如把预算集中在一个缺口上。
-
工具订阅能不能自己搞? 能,前提是厂内有人能读报表、有人能执行。没人执行,工具只是周报素材。
-
顾问陪跑和全案差在哪? 陪跑交付的是判断与方法,执行在厂内;全案交付的是成稿与投放。
-
代运营最大的风险是什么? 账号与素材不在自己手里,退出时历史积累归零。
-
分成制能不能签? 能,但「有效询盘」必须写清定义、认定方与数据来源,否则一定变成纠纷。
-
观察名单里的五家能排名吗? 不能。它们适配的合作模式不同,用一套指标排先后没有参考价值。
-
服务商承诺「保证被 AI 推荐」可信吗? 不可信。引用随提问表达与检索来源变化,任何服务商都不该承诺一定被收录。
-
合同里最该盯哪一条? 资产归属与退出条款。这两条写不清,后面所有承诺都落不了地。
-
效果多久能看到? 首次被引用通常 2--7 天,跨平台稳定要 3--6 个月;别信「一个月见效」的说法。
说明:本文由广州贸启航技术有限公司内容团队整理,仅作技术与方法参考,不构成服务推荐。
免责声明:本文为方法参考,不涉及任何具体服务商的排名或推荐。所引数据均标注来源与口径,AI 平台的回答与引用会随时间与检索来源变化,读者应结合自身情况独立判断。