PHP 爬虫如何获取淘宝商品的 SKU 详细信息

onejason2025-04-21 17:30

在电商领域，获取淘宝商品的 SKU（库存进出计量的基本单元）详细信息对于数据分析、价格监控和库存管理等任务至关重要。虽然 PHP 不是爬虫开发中最常用的语言，但通过结合一些工具和库，仍然可以实现这一目标。本文将详细介绍如何使用 PHP 爬虫获取淘宝商品的 SKU 详细信息，并提供完整的代码示例。

一、准备工作

1. 安装必要的库

PHP 爬虫开发中常用的库包括：

  • Guzzle：用于发送 HTTP 请求。
  • Symfony DomCrawler：用于解析 HTML 内容。

可以通过 Composer 安装这些库：

bash 复制代码 
composer require guzzlehttp/guzzle
composer require symfony/dom-crawler

2. 下载 ChromeDriver

为了处理动态加载的内容，可以使用 Selenium。需要下载与浏览器版本匹配的 ChromeDriver，并确保其路径正确配置。

3. 安装 Selenium Server

Selenium Server 用于与 ChromeDriver 通信，可以通过以下命令安装：

bash 复制代码 
wget https://github.com/SeleniumHQ/selenium/releases/download/selenium-4.0.0/selenium-server-4.0.0.jar

二、获取商品详情页的 HTML 内容

1. 使用 Guzzle 获取静态内容

如果商品详情页的内容是静态的，可以直接使用 Guzzle 获取 HTML 内容。

php 复制代码 
<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;

function get_product_info($url) {
    $client = new Client();
    $response = $client->request('GET', $url, [
        'headers' => [
            'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
        ]
    ]);

    if ($response->getStatusCode() == 200) {
        return $response->getBody()->getContents();
    } else {
        echo "Failed to retrieve the page";
        return null;
    }
}

2. 使用 Selenium 获取动态内容

如果商品详情页的内容是动态加载的，需要使用 Selenium 获取完整的页面内容。

php 复制代码 
<?php
require 'vendor/autoload.php';

use Facebook\WebDriver\Remote\DesiredCapabilities;
use Facebook\WebDriver\Remote\RemoteWebDriver;
use Facebook\WebDriver\WebDriverBy;

function get_product_detail_page_dynamic($url) {
    $capabilities = DesiredCapabilities::chrome();
    $driver = RemoteWebDriver::create('http://localhost:4444', $capabilities);

    $driver->get($url);
    sleep(3); // 等待页面加载完成

    $html = $driver->getPageSource();
    $driver->quit();

    return $html;
}

三、解析商品详情页中的 SKU 信息

1. 定位 SKU 信息的 HTML 结构

SKU 信息通常位于商品详情页的某个特定区域，例如 <div> 或 <ul> 标签中。常见的位置包括：

  • 规格参数表格 ：通常以表格形式展示，例如 <table> 标签。
  • SKU 选择区域 ：通常以下拉菜单或选项卡的形式展示，例如 <select> 或 <ul> 标签。

2. 提取 SKU 信息

使用 Symfony DomCrawler 提取 SKU 信息。以下代码展示了如何解析静态和动态加载的 SKU 信息。

示例代码：解析静态内容

php 复制代码 
<?php
require 'vendor/autoload.php';

use Symfony\Component\DomCrawler\Crawler;

function parse_sku_info($html) {
    $crawler = new Crawler($html);
    $sku_info = [];

    // 定位 SKU 属性区域
    $crawler->filter('div.sku-property')->each(function (Crawler $node) use (&$sku_info) {
        $property_name = $node->filter('div.sku-title')->text();
        $options = $node->filter('ul.sku-list li')->each(function (Crawler $node) {
            return $node->text();
        });
        $sku_info[$property_name] = $options;
    });

    return $sku_info;
}

// 示例：获取静态内容
$url = "https://example.com/product-detail-page.html";
$html = get_product_info($url);
if ($html) {
    $sku_info = parse_sku_info($html);
    foreach ($sku_info as $key => $value) {
        echo "SKU 属性: $key\n";
        foreach ($value as $option) {
            echo "  选项: $option\n";
        }
    }
}

示例代码：解析动态内容

php 复制代码 
<?php
require 'vendor/autoload.php';

use Symfony\Component\DomCrawler\Crawler;

function parse_sku_info_dynamic($html) {
    $crawler = new Crawler($html);
    $sku_info = [];

    // 定位 SKU 属性区域
    $crawler->filter('div.sku-property')->each(function (Crawler $node) use (&$sku_info) {
        $property_name = $node->filter('div.sku-title')->text();
        $options = $node->filter('ul.sku-list li')->each(function (Crawler $node) {
            return $node->text();
        });
        $sku_info[$property_name] = $options;
    });

    return $sku_info;
}

// 示例：获取动态内容
$url = "https://example.com/product-detail-page.html";
$html = get_product_detail_page_dynamic($url);
if ($html) {
    $sku_info = parse_sku_info_dynamic($html);
    foreach ($sku_info as $key => $value) {
        echo "SKU 属性: $key\n";
        foreach ($value as $option) {
            echo "  选项: $option\n";
        }
    }
}

四、注意事项

1. 动态内容处理

如果 SKU 信息是通过 JavaScript 动态加载的，建议使用 Selenium 获取完整的页面内容。

2. 遵守法律法规

在使用爬虫时，务必遵守目标网站的 robots.txt 文件和相关法律法规，避免对目标网站造成不必要的负担或违反法律。

3. 异常处理

在解析过程中，可能会遇到各种异常情况，如网络请求失败、HTML 结构变化等。因此，需要在代码中添加完善的异常处理逻辑，确保爬虫的稳定运行。

4. HTML 结构变化

淘宝商品详情页的 HTML 结构可能会发生变化，因此需要定期检查并更新选择器。

5. 使用代理 IP

为了避免被封禁，建议使用代理 IP 池，定期更换 IP 地址。

五、完整示例代码

以下是一个完整的示例代码，展示如何获取淘宝商品的 SKU 详细信息：

php 复制代码 
<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Facebook\WebDriver\Remote\DesiredCapabilities;
use Facebook\WebDriver\Remote\RemoteWebDriver;
use Facebook\WebDriver\WebDriverBy;
use Symfony\Component\DomCrawler\Crawler;

function get_product_info($url) {
    $client = new Client();
    $response = $client->request('GET', $url, [
        'headers' => [
            'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
        ]
    ]);

    if ($response->getStatusCode() == 200) {
        return $response->getBody()->getContents();
    } else {
        echo "Failed to retrieve the page";
        return null;
    }
}

function get_product_detail_page_dynamic($url) {
    $capabilities = DesiredCapabilities::chrome();
    $driver = RemoteWebDriver::create('http://localhost:4444', $capabilities);

    $driver->get($url);
    sleep(3); // 等待页面加载完成

    $html = $driver->getPageSource();
    $driver->quit();

    return $html;
}

function parse_sku_info($html) {
    $crawler = new Crawler($html);
    $sku_info = [];

    // 定位 SKU 属性区域
    $crawler->filter('div.sku-property')->each(function (Crawler $node) use (&$sku_info) {
        $property_name = $node->filter('div.sku-title')->text();
        $options = $node->filter('ul.sku-list li')->each(function (Crawler $node) {
            return $node->text();
        });
        $sku_info[$property_name] = $options;
    });

    return $sku_info;
}

// 示例：获取静态内容
$url = "https://example.com/product-detail-page.html";
$html = get_product_info($url);
if ($html) {
    $sku_info = parse_sku_info($html);
    foreach ($sku_info as $key => $value) {
        echo "SKU 属性: $key\n";
        foreach ($value as $option) {
            echo "  选项: $option\n";
        }
    }
}

// 示例：获取动态内容
$url = "https://example.com/product-detail-page.html";
$html = get_product_detail_page_dynamic($url);
if ($html) {
    $sku_info = parse_sku_info($html);
    foreach ($sku_info as $key => $value) {
        echo "SKU 属性: $key\n";
        foreach ($value as $option) {
            echo "  选项: $option\n";
        }
    }
}

六、总结

通过上述步骤和示例代码，你可以轻松地使用 PHP 爬虫获取淘宝商品的 SKU 详细信息。希望这个教程对你有所帮助！

相关推荐
ℋᙚᵐⁱᒻᵉ鲸落1 小时前
移动端滑动手势冲突：overflow: auto导致外层横向滑动失效
前端·javascript·css·vue.js·html
默_笙2 小时前
🎃 前端学了 Next.js，后端该学啥？NestJS 就是 Node 版的蜜雪冰城
前端·javascript
前端snow3 小时前
ai agent --- 实现 openclaw 定时间效果
前端
码云之上4 小时前
换模型之后，Chatbot 为什么要自己做 compact？
前端·agent·前端工程化
星栈4 小时前
自定义 UI-UX-Pro-Max 的 CSV 知识库，把 AI 生成的后台拉回行业该有的样子
前端·agent·weui
研☆香4 小时前
简单的图片上传 删除 预览
前端
ITresearchGuest4 小时前
我用 AI 一小时写了一个世界杯数据可视化平台｜前端 VibeCoding 初体验
前端·人工智能·信息可视化
慧一居士5 小时前
Vite项目中使用Less步骤，详细使用示例
前端·css
花间相见6 小时前
【LangChain组件03】—— LangChain Agents 执行与状态：工作流程与状态管理实战
java·前端·langchain
kyriewen6 小时前
面试官让我用 AI 重构一个 8 年陈的 React 组件——他说他不看代码，只看我会不会拆
前端·javascript·面试
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02GitHub 镜像站点03蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接042026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？05ZCode 周末送额度活动开启：3 亿 Token 免费领取06历年考研数学一、数学二、数学三真题试卷及答案PDF07微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新08AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路09Agnes AI 免费 API 接入指南：文本、生图、生视频，一套接口全免费10VSCode+CodeX扩展，无法启动