亮数据 | Browser API 实战:Booking.com 动态页面抓取对比

视频讲解:

JS网站太难爬?Browser API处理动态网站全流程实战

前言

在做旅游、电商、社交平台这类网页采集时,很多页面已经不是简单的静态 HTML。页面内容需要 JS 渲染,还可能包含验证码、弹窗、搜索表单、日期选择器等交互流程。

这次我选择 Booking.com 作为测试目标,搜索地点为 New York,流程包括:

  • 打开 Booking.com 首页
  • 输入搜索地点
  • 选择入住和退房日期
  • 提交搜索
  • 抓取酒店名称、价格、评分和评价数量

这个场景比较适合验证 Browser API,因为它不是单纯请求一个 URL 就能拿到结构化数据。

普通爬虫遇到的问题

我先用普通 requests 方式请求 Booking.com 首页,即使加了浏览器 UA、Cookie 等请求头,返回状态码仍然是 202。

简化后的测试逻辑如下:

python 复制代码
import requests

url = "https://www.booking.com/"
headers = {
    "user-agent": "Mozilla/5.0 ..."
}

response = requests.get(url, headers=headers)
print(response.status_code)

这里的 202 并不代表已经拿到了正常页面内容。对爬虫来说,它更像是网站把请求放进了验证或风控流程里。普通 HTTP 请求无法执行页面里的 JS,也无法像真实用户一样完成点击、等待、表单提交等动作,所以后续很难继续解析有效数据。

Bright Data Browser API 的配置

这次我改用 Bright Data Browser API,通过 Playwright 连接云端浏览器。配置都放在代码前面,核心配置如下:

python 复制代码
AUTH = "用户名:密码"
BROWSER_WS = f"wss://{AUTH}@brd.superproxy.io:9222"

URL = "https://www.booking.com/"
SEARCH_TEXT = "New York"
CHECK_IN_AFTER_DAYS = 1
CHECK_OUT_AFTER_DAYS = 2
MAX_RESULTS = 20

运行逻辑也比较清晰:

python 复制代码
browser = playwright.chromium.connect_over_cdp(BROWSER_WS)
page = browser.new_page()
response = page.goto(URL, wait_until="domcontentloaded")

相比普通请求,Browser API 的关键区别在于:它使用的是真实浏览器环境,可以执行 JS、等待页面加载、处理弹窗、填写搜索框、点击日期和提交按钮。

实际运行结果

本次运行时,Booking.com 首页初始状态码仍然出现了 202,但 Bright Data Browser API 可以继续处理验证流程,并进入最终搜索结果页。

终端输出结果显示:

text 复制代码
正在连接 Bright Data Browser API...
连接成功,正在打开 Booking.com...
页面已打开,初始状态码:202
验证处理状态:not_detected
已进入搜索结果页
抓取完成,共获取 20 条结果
JSON 结果:booking_results.json
HTML 页面:booking_result.html
页面截图:booking_result.png

部分抓取结果如下:

酒店名称 价格 评分 评价数
The Cloud One New York-Downtown, part of the Motel One Group $357 8.8 8113
Staypineapple, An Artful Hotel, Midtown New York $304 8.7 1145
Renaissance New York Midtown Hotel $499 8.8 1692
Archer Hotel New York $499 8.9 1093
Hotel Indigo NYC Financial District by IHG $359 9.0 1866

从结果来看,普通请求卡在 202,而 Browser API 完整走完了"打开页面 - 搜索 - 等待结果 - 解析卡片"的流程,最终拿到了可用数据。

体验总结

这次测试最大的感受是:动态网站不能只看请求是否发出成功,还要看能不能拿到最终渲染后的页面。

普通 requests 更适合结构简单、无强交互、无复杂 JS 渲染的网站;而像 Booking.com 这种带搜索表单、日期选择、验证流程的网站,就更适合用 Browser API 这种真实浏览器方案。

对于爬虫开发者来说,Bright Data Browser API 的价值主要体现在:

  • 可以处理 JS 重度渲染页面
  • 支持点击、输入、等待、截图等浏览器操作
  • 能应对普通请求遇到的验证和风控流程
  • 抓取结果可以直接保存为 JSON、HTML 和截图,方便复盘

这也是我这次选择 Browser API 做实战演示的原因:它解决的不是"怎么请求网页",而是"怎么像真实用户一样完成网页操作并拿到最终数据"。

通过以下专属链接注册,在结账时输入brd09 即可抵扣 30 美金

福利入口:https://www.bright.cn/products/scraping-browser?utm_source=brand&utm_campaign=brnd-mkt_cn_csdn_qidian202609

视频讲解:见文首

相关推荐
wuyk5551 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5551 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10211 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5552 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5552 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5553 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.3 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5555 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http
xyzzklk11 天前
在Open-WebUI中提升向量化速度
网络·人工智能·爬虫·ai·语言模型·自然语言处理·安卓
严肃小白兔11 天前
Cloudflare 开始区分 AI 爬虫与个人 Agent:网站访问控制应该怎样设计?
人工智能·爬虫