使用Python和Selenium爬取京东商品数据

简介❤❤

码农不是吗喽(大学生版)-CSDN博客

在本文中,我们将探讨如何使用Python编程语言结合Selenium库来爬取京东网站上的商品数据。Selenium是一个强大的工具,可以模拟真实用户对网页的交互操作,非常适合进行网页自动化测试和数据抓取。

一、环境准备🎉

(❤ ω ❤)

  • Python 3.x
  • Selenium库
  • lxml库
  • ChromeDriver或EdgeDriver(根据使用的浏览器)

二、正文🎃

1. 导入必要的库

首先,我们需要导入Selenium WebDriver以及lxml库,用于解析网页源代码。

复制代码
from selenium import webdriver
from selenium.webdriver.common.by import By
from lxml import etree
import time

2. 设置WebDriver

接下来,初始化WebDriver,这里我们使用的是Edge浏览器。

复制代码
driver = webdriver.Edge()
driver.maximize_window()

3. 编写爬虫函数

定义一个函数get_info来获取商品信息,并通过递归调用NextPage函数来实现翻页。

复制代码
def get_info(url, page):
    page = page + 1
    driver.get(url)
    driver.implicitly_wait(10)
    selector = etree.HTML(driver.page_source)
    infos = selector.xpath('//*[@id="J_goodsList"]/ul/li')  # 修改XPath选择器以匹配正确的元素
    for info in infos:
        price = info.xpath('.//div[3]/strong/i/text()')[0]  # 确保返回的是列表,并使用[0]获取第一个元素
        print(price)
        shop = info.xpath('.//div[7]/span/a/text()')[0]  # 同上
        print(shop)
    if page <= 5:
        NextPage(url, page)
    # else部分不需要,可以删除

4. 翻页逻辑

定义NextPage函数来处理翻页逻辑,并在找不到下一页按钮时给出提示。

复制代码
def NextPage(url, page):
    driver.get(url)
    driver.implicitly_wait(10)
    try:
        driver.find_element_by_xpath('//*[@id="J_bottomPage"]').click()  # 确保元素存在
    except:
        print("没有找到下一页按钮,可能已经到最后一页或页面结构有变化。")
    time.sleep(10)
    driver.get(driver.current_url)
    driver.implicitly_wait(10)
    get_info(driver.current_url, page)

5. 主函数

编写主函数来启动爬虫,首先访问京东首页,搜索"手机",然后开始爬取商品数据。

复制代码
if __name__ == '__main__':
    page = 1
    url = 'https://www.jd.com/'
    driver.get(url)
    driver.implicitly_wait(10)

    # 使用By.ID来指定查找元素的方式
    driver.find_element(By.ID, 'key').clear()
    driver.find_element(By.ID, 'key').send_keys('手机')

    # 假设'button'是按钮元素的class name
    driver.find_element(By.CLASS_NAME, 'button').click()
    time.sleep(3)
    get_info(driver.current_url, page)

五、结论

本文介绍了使用Python和Selenium库爬取京东商品数据的方法。通过编写自动化脚本,我们可以高效地获取网页上的数据,为数据分析和市场研究提供支持。

参考文献

相关推荐
郝学胜-神的一滴7 小时前
Effective STL 第5条:区间成员函数优先于单元素成员函数
开发语言·c++·程序人生·stl·软件工程
江太翁7 小时前
Kotlin 与 Java 互操作中常用注解
java·python·kotlin
星期天要睡觉7 小时前
深度学习——基于ResNet18迁移学习的图像分类模型
人工智能·python·分类·迁移学习
小钱c77 小时前
Python使用 pandas操作Excel文件并新增列数据
python·excel·pandas
杨福瑞7 小时前
C语言数据结构:算法复杂度(2)
c语言·开发语言·数据结构
道之极万物灭7 小时前
Go基础知识(一)
开发语言·后端·golang
AI数据皮皮侠7 小时前
中国博物馆数据
大数据·人工智能·python·深度学习·机器学习
张晓~183399481218 小时前
碰一碰发视频 系统源码 /PHP 语言开发方案
开发语言·线性代数·矩阵·aigc·php·音视频·文心一言
代码不停8 小时前
Java前缀和算法题目练习
java·开发语言·算法
豆沙沙包?8 小时前
2025年--Lc200- 414. 第三大的数(大根堆)--Java版
java·开发语言