使用 Puppeteer 绕过 Captcha:实现商家数据自动化采集

背景/引言

大众点评作为中国领先的本地生活服务平台,不仅是消费者获取商家信息和用户评价的重要工具,同时也是商家推广的关键渠道。通过优质的内容呈现和精准的用户推荐,大众点评能够为商家带来显著的流量提升和品牌曝光,成为商业竞争中不可忽视的资源。

对于技术从业者,采集大众点评的商家数据可以用于市场动态研究、用户行为分析以及商家推广策略制定。然而,大众点评的控制机制(如 Captcha 验证)使自动化采集变得困难重重。为应对这些挑战,本文将介绍如何使用 Puppeteer,通过代理 IP、用户伪装等技术,轻松绕过 Captcha,实现对商家信息的高效采集。


技术实现

1. 工具与技术概述
  • Puppeteer:一个强大的无头浏览器自动化工具,支持模拟用户操作,轻松处理动态页面和复杂交互。
  • 代理 IP:通过隐藏真实 IP,规避访问限制,提升爬虫稳定性。
  • 用户伪装技术:通过设置 User-Agent 和 Cookies 模拟真实用户行为,降低被识别的风险。
2. 关键步骤
  • 配置 Puppeteer 和代理 IP。
  • 设置用户伪装参数(User-Agent 和 Cookie)。
  • 模拟人类操作(滚动、延迟访问等),避免触发 Captcha。
  • 提取目标页面的商家信息数据。

实例代码

以下是完整实现代码,以采集大众点评商家信息为例,结合爬虫代理实现稳定的网络访问。

javascript 复制代码
const puppeteer = require('puppeteer');

// 代理信息配置(以亿牛云爬虫代理为例 www.16yun.cn)
const proxyConfig = {
    host: 'proxy.16yun.cn', // 代理服务器地址
    port: '12345',              // 代理端口号
    username: 'your_username',  // 代理用户名
    password: 'your_password'   // 代理密码
};

// 目标 URL
const targetUrl = 'https://www.dianping.com/search/keyword/1/0_商家关键字';

(async () => {
    // 启动 Puppeteer,配置代理
    const browser = await puppeteer.launch({
        headless: false, // 设置为 false 以便调试
        args: [`--proxy-server=${proxyConfig.host}:${proxyConfig.port}`] // 配置代理服务器
    });

    const page = await browser.newPage();

    // 设置用户代理(User-Agent)
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    );

    // 设置 Cookie(可从浏览器中登录后提取有效的 Cookie)
    const cookies = [
        {
            name: 'cookieName',
            value: 'cookieValue',
            domain: '.dianping.com'
        }
    ];
    await page.setCookie(...cookies);

    // 配置 HTTP Basic Auth 代理认证
    await page.authenticate({
        username: proxyConfig.username,
        password: proxyConfig.password
    });

    // 访问目标 URL
    try {
        console.log('正在访问目标页面...');
        await page.goto(targetUrl, { waitUntil: 'networkidle2' });

        // 模拟滚动,加载更多数据
        await page.evaluate(() => {
            return new Promise((resolve) => {
                let totalHeight = 0;
                const distance = 100;
                const timer = setInterval(() => {
                    const scrollHeight = document.body.scrollHeight;
                    window.scrollBy(0, distance);
                    totalHeight += distance;

                    if (totalHeight >= scrollHeight) {
                        clearInterval(timer);
                        resolve();
                    }
                }, 100);
            });
        });

        // 提取商家信息
        const data = await page.evaluate(() => {
            const result = [];
            const items = document.querySelectorAll('.shop-all-list li'); // 根据实际 DOM 调整选择器
            items.forEach(item => {
                const name = item.querySelector('.tit a')?.textContent.trim();
                const address = item.querySelector('.addr')?.textContent.trim();
                const rating = item.querySelector('.comment-list .item-rank-rst')?.getAttribute('title');
                if (name && address) {
                    result.push({ name, address, rating });
                }
            });
            return result;
        });

        console.log('采集到的数据:', data);
    } catch (error) {
        console.error('页面加载或采集时出错:', error);
    } finally {
        await browser.close();
    }
})();

结论

通过本文的示例代码,我们展示了如何使用 Puppeteer 绕过 Captcha 实现对大众点评商家信息的高效采集。结合代理 IP、用户伪装等技术,不仅可以大幅提升爬虫的隐蔽性和稳定性,还能灵活应对复杂的反爬机制。

需要注意的是,数据采集必须遵循合法合规的原则,并尊重目标网站的使用政策。在实际应用中,可根据需求调整采集逻辑和伪装策略,将爬虫技术应用于更多业务场景中,为数据驱动的决策提供技术支持。

相关推荐
程序员的世界你不懂9 天前
Appium+python自动化(三十)yaml配置数据隔离
运维·appium·自动化
东窗西篱梦9 天前
LNMP一键自动化部署
运维·自动化
Deepoch10 天前
Deepoc大模型重构核工业智能基座:混合增强架构与安全增强决策技术
人工智能·科技·学习·自动化·创业创新
忘记安全带10 天前
AWS EC2使用SSM会话管理器连接
服务器·网络·自动化·云计算·aws
你的秋裤穿反了10 天前
网络/信号/电位跟踪
自动化
小猴崽10 天前
腾讯云事件总线:构建毫秒级响应的下一代事件驱动架构
架构·自动化·腾讯云
mit6.82410 天前
[project-based-learning] 开源贡献指南 | 自动化链接验证 | Issue模板规范
开源·自动化·issue
疯狂的维修10 天前
七层网络模型与电脑通信比喻
自动化
饺子大魔王的男人10 天前
Windows环境Browser-Use平台部署与AI自动化远程访问实现过程
人工智能·windows·自动化
云云32110 天前
亚矩云手机赋能Vinted矩阵运营:破解二手电商多账号与本地化困局
网络·人工智能·智能手机·矩阵·自动化