Bright Data CLI 入门教程：命令行实现 Web Scraping 与结构化数据采集

前言

如果只需要在终端里敲一行命令，就能抓取 Amazon、LinkedIn 任意网站的公开数据，而且永远不用担心 IP 被封------你愿意试试吗？

大多数开发者对网页抓取的第一印象是：买代理、搭 Playwright、写 XPath、碰 CAPTCHA、改反爬策略......一套下来，光基础设施就要折腾好几天。我上周帮同事抓一个电商竞品页，光是代理池调通就花了半天------页面一改版，选择器又全废。

Bright Data CLI 把这一切压缩进了几条 Shell 命令：安装、登录、开抓。CAPTCHA 自动处理、JS 自动渲染、反爬自动绕过，全部在 Bright Data 云端完成，你的笔记本上不需要跑 Chrome Headless，也不需要维护 Docker 容器。

想直接体验 CLI？本文所有示例都可以用免费 Credits 复现，建议先阅读下面的 60 秒安装教程，再开始体验。

一、 网页抓取为什么这么难？

公开网页看起来只是 HTML，但背后藏着四层门槛：

• 反爬机制 --- User-Agent 检测、TLS 指纹、请求频率限制、IP 信誉评分
• CAPTCHA --- Cloudflare、reCAPTCHA、hCaptcha 随时弹出
• IP 封锁 --- 同一 IP 高频访问直接被拒
• JS 渲染 --- React/Vue 单页应用，curl 拿到的只是空壳

自写 Python 爬虫意味着你要自己维护代理池、Unlocker、浏览器集群和解析逻辑------Scrapy + Playwright + 轮换代理的标准套餐，小团队往往扛不住长期维护成本。curl/wget 更轻，抓静态页够用，但遇到上述任意一层就会卡住，返回的 HTML 里常常只有
这样的空壳。

如果你只需要偶尔抓几个公开页面，CLI 的 ROI 极高：一条命令替代一整条技术栈。

Bright Data CLI 是 Bright Data 官方 npm 包（@brightdata/cli），把整个平台基础设施封装进终端。命令别名 bdata 与 brightdata 完全等价------下文混用两者，你选顺手的即可。

二、Bright Data CLI 是什么？

一句话：把 Bright Data 400M+ 代理、Web Unlocker、SERP API、100+ 网站预置 Scraper，CLI 当前内置 40+ Pipelines。

和远程浏览器，打包成开发者熟悉的 CLI 工具。

能力	对应命令
抓取任意 URL	brightdata scrape
Google/Bing/Yandex 搜索	brightdata search
40+ 平台结构化提取	brightdata pipelines
远程浏览器会话	brightdata browser
AI 自动生成爬虫	brightdata scraper create
接入 AI Agent（MCP）	brightdata add mcp

免费额度： 每月 5,000 次 Credits，注册无需信用卡。一次 brightdata login 后，CLI 自动创建 cli_unlocker、cli_browser 等 Zone，零配置开箱即用。

:::callout type=warning

合规提醒： CLI 仅支持公开可访问的数据抓取，不支持登录后内容。使用前请确认目标数据符合当地法规与网站服务条款。

三、安装与配置（60 秒上手）

环境要求： Node.js ≥ 20

方式一：npm 全局安装（推荐）

输入下面的命令安装cli

npm install -g @brightdata/cli

查看是否安装成功，可以看到最终输出了版本号，说明安装正常

brightdata --version

方式二：npx 免安装试用

npx -p @brightdata/cli brightdata scrape https://example.com

方式三：curl 一键安装（macOS / Linux）

curl -fsSL https://cli.brightdata.com/install.sh | sh

Windows 用户建议通过 npm 或 npx 安装；curl 脚本主要面向 Unix 系环境。

登录成功后，CLI 会在本地存储凭证（macOS：~/Library/Application Support/brightdata-cli/），权限设为 owner-only。之后所有命令自动鉴权，不需要每次传 Token。

登录（三选一）：

brightdata login                    # 浏览器 OAuth（推荐）

授权成功就会出现下面的成功状态

当然也可以选择其他方式，比如：

brightdata login --device           # SSH / 无图形界面环境
brightdata login --api-key YOUR_KEY # CI/CD 非交互式
export BRIGHTDATA_API_KEY=YOUR_KEY  # 环境变量，跳过 login

首次使用可跑交互式向导：

brightdata init

验证账户状态：

brightdata budget
# Balance         $47.00
# Pending charge  $0.00

四、实践

Bright Data CLI 提供 scrape、search、pipelines 等命令，可以在几分钟内完成网页抓取、SERP 查询和结构化数据提取。

1、抓取博客文章/商品信息

抓一篇公开技术文章，Markdown 里能直接看到标题、日期和正文：

brightdata scrape "https://neil.computer/notes/how-to-setup-minimal-zfs-nas-without-truenas/" \
  -o article.md

最终输出如下（节选部分数据）：

2、从 LinkedIn 提取结构化公司数据

brightdata pipelines 是 CLI 的「结构化数据引擎」------内置 Amazon、LinkedIn、Instagram、TikTok、Google Maps 等 100+ 网站预置 Scraper，CLI 当前内置 40+ Pipelines。

，一条命令返回 JSON/CSV，无需手写选择器。

示例：提取 LinkedIn 公司主页

brightdata pipelines linkedin_company_profile \
  "https://www.linkedin.com/company/bright-data" \
  --pretty

真实输出的部分片段：

[  {    "id": "bright-data",    "name": "Bright Data",    "country_code": "IL",    "locations": [      "Greater Tel Aviv, Israel 42507, IL"    ],
    "followers": 47393,
    "employees_in_linkedin": 383,
    "about": "Bright Data is the leading web data infrastructure powering AI and BI, trusted by over 20,000 companies - from top AI innovators to global leaders in eCommerce, financial services, market research, cybersecurity, travel, martech, and beyond. Our platform enables teams to seamlessly discover, access, extract, and interact with web data at unmatched scale, speed, and accuracy - including global proxy networks, automated web unlocking, advanced browsing technology, and ready-to-ingest petabyte-scale datasets.",
    "specialties": "price intelligence, web data collection, brand monitoring, brand protection, ad verification, data collection, data, market research, web research, social account management, ecommerce tools, alternative data, and AI Agents",
    "company_size": "501-1,000 employees",
    "organization_type": "Privately Held",
    "industries": "Software Development",
    "website": "https://brdta.com/3go77R5",
    "company_id": "4000016",
    "employees": [
      {
        "img": "https://media.licdn.com/dms/image/v2/D5603AQG0eN935v_ESg/profile-displayphoto-shrink_100_100/profile-displayphoto-shrink_100_100/0/1676746180944?e=2147483647&v=beta&t=vfBpl2YfhzeOaWE6GzksrFQF7x8JsdsZZLLnM3P7O14",
        "link": "https://www.linkedin.com/in/gunja-gargeshwari-5bb37?trk=org-employees",
        "title": "Gunja Gargeshwari"
      },
      {
        "img": "https://media.licdn.com/dms/image/v2/C4E03AQFdec115n9IjQ/profile-displayphoto-shrink_100_100/profile-displayphoto-shrink_100_100/0/1542199103342?e=2147483647&v=beta&t=9zE8i0saYsHVr8Vy1N3IRumI2VzWcJZEJyAz5aIetRA",
        "link": "https://br.linkedin.com/in/wagnerporcelli?trk=org-employees",
        "title": "Wagner Porcelli"
      },
      {
        "img": "https://media.licdn.com/dms/image/v2/C5603AQH4GrABFQe6Ng/profile-displayphoto-shrink_100_100/profile-displayphoto-shrink_100_100/0/1522701921361?e=2147483647&v=beta&t=MYFe5VDk80SDGAjDLTyzoAOE50gBR6zYs7mXOAKjtHY",
        "link": "https://il.linkedin.com/in/mark-granot-728b33?trk=org-employees",
        "title": "Mark Granot"
      },
      {
        "img": "https://media.licdn.com/dms/image/v2/D4E03AQFXAWIjKMFLug/profile-displayphoto-scale_100_100/B4EZxh9hP.H4Ac-/0/1771170044652?e=2147483647&v=beta&t=kqrM22DzzAIn6o6TFBrkVOuoIjtrXe4u6vymTdo4O7U",
        "link": "https://il.linkedin.com/in/shay-lang-b418841?trk=org-employees",
        "title": "Shay Lang"
      }
    ],
    "headquarters": "Greater Tel Aviv, Israel"}
 ]

更多平台示例：

# Amazon 商品页
brightdata pipelines amazon_product "https://amazon.com/dp/B09V3KXJPB" --format json
 
# LinkedIn 个人公开主页
brightdata pipelines linkedin_person_profile "https://linkedin.com/in/username"
 
# 列出全部 40+ 提取器
brightdata pipelines list

👉 用专属链接注册，立即领取 5,000 次免费 Credits →

3、Google 搜索与结构化结果

竞品调研、趋势监测、内容发现------很多时候你需要的不是整页 HTML，而是搜索结果本身。

brightdata search "bright data cli web scraping" \
  --engine google \
  --country us \
  --json --pretty

返回 JSON 包含：

• general --- 搜索引擎、查询词、结果总数、地域
• organic\[\] --- 有机结果：title、link、description、rank
• navigation\[\] --- 图片/视频/新闻等 Tab 链接
• pagination --- 翻页参数

部分结果如下：

{
  "general": {
    "search_engine": "google",
    "query": "bright data cli web scraping",
    "results_cnt": 109,
    "search_time": 0.43,
    "language": "en",
    "country_code": "US",
    "location": "United States",
    "gl": "US",
    "mobile": false,
    "basic_view": false,
    "search_type": "text",
    "page_title": "bright data cli web scraping - Google Search",
    "timestamp": "2026-07-08T08:42:43.631Z"
  },
  "input": {
    "original_url": "https://www.google.com/search?q=bright+data+cli+web+scraping&brd_json=1&gl=us&start=0",
    "request_id": "hl_007fbf21_cjw23w420n5"
  },
  "navigation": [
    {
      "title": "AI Mode",
      "href": "https://www.google.com/search?q=bright+data+cli+web+scraping&sca_esv=f59d3dc769decac2&gl=us&hl=en&udm=50&fbs=ABfTbFVyMZGZf1hfvX9uKjN_-G8c4u0nXx4bEIpwm1lnNH832a9BVCEiB2iPJNekNderQwLP8msUKsz-6AMxGyueJZ9cK2mNBy2II_6WvkKSZWdegvvKnEPeeArWgEP9exNATg6oybL0Q4MEKOxPxFbct-gPoxJydwQkFVgNkm6vNXPQZjfoWDOyzkktih_Z6lssQmfbdqIKqxUyGROmvXoo-iyz5AhpVQ&aep=1&ntc=1&sa=X&ved=2ahUKEwjDspPs18KVAxVippUCHYvUMrUQ2J8OegQIERAD"
    },}

Bing、Yandex 同样支持：--engine bing / --engine yandex。加 --type news 可限定新闻结果，--type shopping 拿购物卡片------做竞品监控时非常实用。

对比自己调 Google Custom Search API 或手写 SERP 解析，CLI 返回的 JSON 字段稳定，省去了维护 CSS 选择器的麻烦。

看到这里，不妨亲自运行一次 brightdata scrape。

免费 Credits 足够完成本文所有示例，包括网页抓取、SERP 查询和 LinkedIn 数据提取，无需信用卡即可开始体验。

五、进阶

Bright Data CLI 可以利用 AI 自动生成 Scraper，并通过 MCP 接入 Cursor、Claude Code 等 AI Agent，实现自动化网页操作。

1、自然语言创建爬虫

brightdata scraper create https://news.ycombinator.com \
  "Extract top stories: title, url, points, author, comment count"

AI 生成通常需要 5--15 分钟，返回稳定的 Collector ID（c_*）。

在浏览器打开brightdata.com/cp/scrapers，打开可以看到下面的scrapers

网站改版后：

brightdata scraper heal c_xxxxx "Price field returns null since redesign"
brightdata scraper approve c_xxxxx

2、远程浏览器

brightdata browser open https://example.com
brightdata browser snapshot --compact   # AI Agent 友好，token 减少 70-90%
brightdata browser close

3、MCP 接入 Cursor / Claude Code / Codex

brightdata add mcp --agent cursor --project
brightdata add mcp --agent claude-code --global

这里我用添加mcp到cursor，

在设置可以看到mcp已经生效

一行命令把网页抓取能力注入 AI 编程 Agent------Agent 可以直接调用 scrape、search、pipelines，无需你手动拼 API。在 Cursor 里配好 MCP 后，你可以对 Agent 说「帮我查一下这个 Amazon 链接的当前价格和评论数」，它会自动走 Bright Data 基础设施完成抓取。

配合 brightdata skill add scrape 还能预装 Scraping Skill，让 Agent 更懂 Bright Data 的最佳实践。

如果你已经在使用 Cursor、Claude Code 或 Codex，只需一条 brightdata add mcp命令，就能让 AI Agent 获得实时网页访问能力，快速体验 MCP 工作流。

4、Discover API：让 AI Agent 自动发现网页

Discover API 是 Bright Data 提供的免费网页发现服务，可帮助 AI Agent 快速找到最新网页，而无需自行构建搜索流程。

六、竞品对比：CLI vs 自写爬虫 vs curl

功能	Bright Data CLI	自写 Python 爬虫	curl / wget
反爬虫自动绕过	✅ 自动	❌ 手动	❌ 无
CAPTCHA 自动解决	✅ 内置	❌ 手动	❌ 无
JS 渲染支持	✅ 自动	⚠️ 需 Selenium/Playwright	❌ 无
结构化数据输出	✅ JSON/CSV	⚠️ 需自行解析	❌ 原始 HTML
100+ 网站预置 Scraper，CLI 当前内置 40+ Pipelines。	✅ 内置	❌ 需自建	❌ 无
零配置启动	✅ 是	❌ 否	✅ 是
免费额度	✅ 每月 5K Credits	N/A	N/A
Shell / CI 友好	✅ 管道 + 环境变量	⚠️ 需封装脚本	✅ 是

curl 适合静态页面快速探测；Python 适合深度定制但维护成本高。Bright Data CLI 的定位是：开发者日常数据获取的默认选项------比 curl 强在反封禁和结构化，比自写爬虫省在零基础设施。

对于「每周抓几次公开数据、不想养服务器」的场景，CLI 的边际成本几乎为零：免费额度够个人和小团队验证，用量上来再按需付费。

七、使用场景与业务价值

场景	CLI 命令组合
电商价格监控	pipelines amazon_product + cron
LinkedIn 销售线索	pipelines linkedin_person_profile
竞品 SEO 监测	search + scrape 管道
AI Agent 实时数据	add mcp + scrape / discover
学术 / 研究采集	scrape -f markdown 批量导出
CI/CD 自动化	BRIGHTDATA_API_KEY + Shell 脚本

DevOps 和数据工程师尤其受益：JSON 输出天然适配 jq、Airflow、GitHub Actions，不需要维护 Docker 化的爬虫服务。AI / ML 工程师可以把 brightdata discover 和 MCP 集成进 Agent 工作流，让模型实时获取网页上下文，而不是依赖过时的训练数据。

举个具体例子：电商团队可以用 cron + pipelines amazon_product 每天凌晨拉竞品价格，变动超过 5% 就 Slack 告警；GTM 团队用 pipelines linkedin_person_profile 批量 enrich CRM 线索------这些在 Shell 脚本里十几行就能串起来，比维护一个 Scrapy 项目轻量得多。

八、常见问题 FAQ

Q：用 Bright Data CLI 抓取网站合法吗？

只抓取公开数据，并遵守目标网站 ToS 与当地法规。CLI 不支持登录墙后的私有内容。

Q：免费额度会过期吗？

每月 5,000 Credits 按自然月刷新，未用完不累积（以官方政策为准）。

Q：触发限速后怎么办？

CLI 内置自动重试和代理轮换。持续高频场景建议查看 brightdata budget zones 监控用量，或联系销售升级套餐。

Q：能在 CI/CD 流水线中使用吗？

可以。设置 BRIGHTDATA_API_KEY 环境变量，或用 brightdata login --api-key。输出重定向到文件即可归档。

Q：bdata 和 brightdata 有什么区别？

没有区别，bdata 是官方简写别名。

总结

Bright Data CLI 把网页抓取从「搭基础设施」变成了「敲一条命令」：

• scrape --- 任意 URL → Markdown / JSON / 截图
• pipelines --- 40+ 平台 → 结构化 JSON/CSV
• search --- Google/Bing/Yandex → 可解析 SERP JSON
• scraper create --- 自然语言 → AI 生成爬虫
• add mcp --- 一行接入 Cursor / Claude Code

Bright Data CLI将原本需要代理、浏览器、反爬策略和数据解析的复杂流程，浓缩成几个简单命令。无论是开发者验证想法、自动化数据采集，还是为 AI Agent 提供实时网页访问能力，都可以在几分钟内完成部署。

立即注册 Bright Data，领取每月 5,000 次免费 Credits，跟着本文示例完成第一次 CLI 网页抓取，亲自体验从安装到获取数据仅需 60 秒的开发流程。

参考链接

• Bright Data CLI 官方文档
• CLI 安装指南
• CLI 命令参考
• CLI 使用示例
• GitHub 仓库