Python + 淘宝 API 开发实战:自动化采集商品详情与 SKU 数据清洗指南

一、引言

在电商数据分析和运营中,获取淘宝商品的详细信息及 SKU(库存保有单位)数据是一项关键任务。Python 作为一种功能强大且易于使用的编程语言,结合淘宝 API 可以实现自动化采集商品详情和 SKU 数据。采集到的数据往往存在噪声和不规范的情况,因此还需要进行数据清洗。本文将详细介绍如何使用 Python 结合淘宝 API 完成商品详情和 SKU 数据的自动化采集,并对采集到的数据进行清洗。

二、前期准备

在开始之前,你需要完成以下准备工作:

  1. 淘宝平台入驻 :注册账号并创建应用,获取**api_key** 和 api_secret,这是调用淘宝 API 的必要凭证。

  2. 安装依赖库 :使用 Python 的 requests 库发送 HTTP 请求,hashlib 库用于生成签名,pandas 库用于数据清洗。你可以使用以下命令进行安装:

    pip install requests pandas

三、调用淘宝 API 进行商品详情和 SKU 数据采集
1. 签名生成

淘宝 API 要求对请求参数进行签名,以确保请求的合法性。以下是生成签名的 Python 代码:

复制代码
import hashlib

def generate_sign(params, secret):
    sorted_params = sorted(params.items(), key=lambda x: x[0])
    sign_str = secret
    for key, value in sorted_params:
        sign_str += f"{key}{value}"
    sign_str += secret
    md5 = hashlib.md5()
    md5.update(sign_str.encode('utf-8'))
    return md5.hexdigest().upper()
2. 发送 API 请求

使用 requests 库发送请求获取商品详情和 SKU 数据:

复制代码
import requests
import time

def get_product_info(app_key, app_secret, product_id):
    timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    params = {
        "method": "taobao.item.sku.get",  # 这里以获取 SKU 数据为例,可根据需求修改
        "app_key": app_key,
        "timestamp": timestamp,
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "num_iid": product_id
    }
    sign = generate_sign(params, app_secret)
    params["sign"] = sign
    url = "http://gw.api.taobao.com/router/rest"
    response = requests.get(url, params=params)
    return response.json()
3. 自动化采集

可以编写一个循环来批量采集多个商品的信息:

复制代码
app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]  # 替换为实际的商品 ID 列表
all_product_info = []
for product_id in product_ids:
    info = get_product_info(app_key, app_secret, product_id)
    all_product_info.append(info)
四、数据清洗
1. 加载数据

使用 pandas 库将采集到的数据转换为 DataFrame 格式:

复制代码
import pandas as pd

df = pd.DataFrame(all_product_info)
  1. 去除重复数据

    df = df.drop_duplicates()

3. 处理缺失值

对于缺失值,可以选择删除包含缺失值的行或使用合适的值进行填充:

复制代码
# 删除包含缺失值的行
df = df.dropna()

# 或者使用特定值填充缺失值
# df = df.fillna(value=0)
4. 数据类型转换

将需要的列转换为合适的数据类型,例如将价格列转换为浮点数类型:

复制代码
if 'price' in df.columns:
    df['price'] = pd.to_numeric(df['price'], errors='coerce')

五、完整代码示例

复制代码
import hashlib
import requests
import time
import pandas as pd


def generate_sign(params, secret):
    sorted_params = sorted(params.items(), key=lambda x: x[0])
    sign_str = secret
    for key, value in sorted_params:
        sign_str += f"{key}{value}"
    sign_str += secret
    md5 = hashlib.md5()
    md5.update(sign_str.encode('utf-8'))
    return md5.hexdigest().upper()


def get_product_info(app_key, app_secret, product_id):
    timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    params = {
        "method": "taobao.item.sku.get",
        "app_key": app_key,
        "timestamp": timestamp,
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "num_iid": product_id
    }
    sign = generate_sign(params, app_secret)
    params["sign"] = sign
    url = "http://gw.api.taobao.com/router/rest"
    response = requests.get(url, params=params)
    return response.json()


app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]
all_product_info = []
for product_id in product_ids:
    info = get_product_info(app_key, app_secret, product_id)
    all_product_info.append(info)

df = pd.DataFrame(all_product_info)
df = df.drop_duplicates()
df = df.dropna()
if 'price' in df.columns:
    df['price'] = pd.to_numeric(df['price'], errors='coerce')

print(df)
六、总结

通过以上步骤,你可以使用 Python 结合淘宝 API 实现商品详情和 SKU 数据的自动化采集,并对采集到的数据进行清洗。在实际应用中,你可以根据具体需求调整 API 请求的参数和数据清洗的方法,以满足不同的业务场景。同时,要注意遵守淘宝开放平台的使用规则,避免因违规操作导致账号被封禁。

相关推荐
bemyrunningdog9 分钟前
Mock数据
linux·运维·ubuntu
周胡杰19 分钟前
鸿蒙arkts使用关系型数据库,使用DB Browser for SQLite连接和查看数据库数据?使用TaskPool进行频繁数据库操作
前端·数据库·华为·harmonyos·鸿蒙·鸿蒙系统
wkj00123 分钟前
navicate如何设置数据库引擎
数据库·mysql
赵渝强老师25 分钟前
【赵渝强老师】Oracle RMAN的目录数据库
数据库·oracle
暖暖木头27 分钟前
Oracle注释详解
数据库·oracle
御控工业物联网44 分钟前
御控网关如何实现MQTT、MODBUS、OPCUA、SQL、HTTP之间协议转换
数据库·sql·http
PHOSKEY1 小时前
闪测仪应用案例丨手机中框如何突破「尺寸检测」瓶颈?
运维·智能手机·自动化
JIAKSK2 小时前
VitePress 接入百度统计:全面教程与优化指南
运维·数据可视化
武子康2 小时前
大数据-34 HBase 单节点配置 hbase-env hbase-site xml
大数据·后端·hbase
Edingbrugh.南空2 小时前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce