爬取京东商品图片的Python实现方法

引言

在数据驱动的商业环境中，网络爬虫技术已成为获取信息的重要手段。京东作为中国领先的电商平台，拥有海量的商品信息和图片资源。本文将详细介绍如何使用Python编写爬虫程序，爬取京东商品的图片，并提供完整的代码实现过程。

爬虫基础

在开始编写爬虫之前，需要了解一些基本的网络爬虫概念：

HTTP请求：爬虫通过发送HTTP请求获取网页数据。
HTML解析：解析返回的HTML文档，提取所需信息。
会话管理：使用Session保持登录状态和Cookies。

环境准备

Python：编程语言。
Requests：发送HTTP请求。
BeautifulSoup：解析HTML文档。
Lxml：解析库，BeautifulSoup的后端解析器。

安装所需库：

pip install requests beautifulsoup4 lxml

爬虫实现步骤

1. 设置请求头和代理

为了避免被识别为爬虫，需要设置User-Agent和代理IP。

import requests
from bs4 import BeautifulSoup

# 代理服务器配置
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 构建包含代理服务器认证信息的代理URL
proxy_url = f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"

# 请求头，包含User-Agent
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

# 使用代理的requests会话
session = requests.Session()
session.headers.update(headers)

# 配置代理，支持HTTP和HTTPS
session.proxies = {
    'http': proxy_url,
    'https': proxy_url
}

# 示例使用会话对象发送请求
def get_page(url):
    try:
        response = session.get(url)
        response.raise_for_status()  # 检查请求是否成功
        return response.text
    except requests.exceptions.HTTPError as errh:
        print(f'HTTP Error: {errh}')
    except requests.exceptions.ConnectionError as errc:
        print(f'Error Connecting: {errc}')
    except requests.exceptions.Timeout as errt:
        print(f'Timeout Error: {errt}')
    except requests.exceptions.RequestException as err:
        print(f'OOps: Something Else: {err}')

# 使用get_page函数获取网页内容
# html_content = get_page('http://example.com')

2. 发送请求

使用Requests库发送GET请求。

def get_page(url):
    response = requests.get(url, headers=headers)
    return response.text

3. 解析HTML

使用BeautifulSoup解析HTML，提取商品图片链接。

def parse_page(html):
    soup = BeautifulSoup(html, 'lxml')
    img_tags = soup.find_all('img')
    img_urls = [img.get('data-src') for img in img_tags if 'data-src' in img.attrs]
    return img_urls

4. 保存图片

下载并保存图片到本地。

def save_images(img_urls, folder='images'):
    for i, url in enumerate(img_urls):
        try:
            response = requests.get(url, stream=True)
            if response.status_code == 200:
                with open(f'{folder}/img_{i}.jpg', 'wb') as f:
                    for chunk in response.iter_content(1024):
                        f.write(chunk)
            else:
                print(f'Failed to download image: {url}')
        except Exception as e:
            print(f'Error occurred while downloading image {url}: {e}')

5. 主函数

整合以上步骤，实现爬取京东商品图片的功能。

def crawl_jd(keyword):
    search_url = f'https://search.jd.com/Search?keyword={keyword}&enc=utf-8'
    html = get_page(search_url)
    img_urls = parse_page(html)
    save_images(img_urls)

if __name__ == '__main__':
    crawl_jd('笔记本电脑')

注意事项

遵守robots.txt：在爬取前，检查目标网站的robots.txt文件，确保爬虫行为符合规定。
请求频率控制：避免过快发送请求，以免给服务器造成负担。
异常处理：代码中应包含异常处理逻辑，确保程序稳定运行。