使用Python和Selenium爬取京东商品数据

简介❤❤

码农不是吗喽(大学生版)-CSDN博客

在本文中,我们将探讨如何使用Python编程语言结合Selenium库来爬取京东网站上的商品数据。Selenium是一个强大的工具,可以模拟真实用户对网页的交互操作,非常适合进行网页自动化测试和数据抓取。

一、环境准备🎉

(❤ ω ❤)

  • Python 3.x
  • Selenium库
  • lxml库
  • ChromeDriver或EdgeDriver(根据使用的浏览器)

二、正文🎃

1. 导入必要的库

首先,我们需要导入Selenium WebDriver以及lxml库,用于解析网页源代码。

复制代码
from selenium import webdriver
from selenium.webdriver.common.by import By
from lxml import etree
import time

2. 设置WebDriver

接下来,初始化WebDriver,这里我们使用的是Edge浏览器。

复制代码
driver = webdriver.Edge()
driver.maximize_window()

3. 编写爬虫函数

定义一个函数get_info来获取商品信息,并通过递归调用NextPage函数来实现翻页。

复制代码
def get_info(url, page):
    page = page + 1
    driver.get(url)
    driver.implicitly_wait(10)
    selector = etree.HTML(driver.page_source)
    infos = selector.xpath('//*[@id="J_goodsList"]/ul/li')  # 修改XPath选择器以匹配正确的元素
    for info in infos:
        price = info.xpath('.//div[3]/strong/i/text()')[0]  # 确保返回的是列表,并使用[0]获取第一个元素
        print(price)
        shop = info.xpath('.//div[7]/span/a/text()')[0]  # 同上
        print(shop)
    if page <= 5:
        NextPage(url, page)
    # else部分不需要,可以删除

4. 翻页逻辑

定义NextPage函数来处理翻页逻辑,并在找不到下一页按钮时给出提示。

复制代码
def NextPage(url, page):
    driver.get(url)
    driver.implicitly_wait(10)
    try:
        driver.find_element_by_xpath('//*[@id="J_bottomPage"]').click()  # 确保元素存在
    except:
        print("没有找到下一页按钮,可能已经到最后一页或页面结构有变化。")
    time.sleep(10)
    driver.get(driver.current_url)
    driver.implicitly_wait(10)
    get_info(driver.current_url, page)

5. 主函数

编写主函数来启动爬虫,首先访问京东首页,搜索"手机",然后开始爬取商品数据。

复制代码
if __name__ == '__main__':
    page = 1
    url = 'https://www.jd.com/'
    driver.get(url)
    driver.implicitly_wait(10)

    # 使用By.ID来指定查找元素的方式
    driver.find_element(By.ID, 'key').clear()
    driver.find_element(By.ID, 'key').send_keys('手机')

    # 假设'button'是按钮元素的class name
    driver.find_element(By.CLASS_NAME, 'button').click()
    time.sleep(3)
    get_info(driver.current_url, page)

五、结论

本文介绍了使用Python和Selenium库爬取京东商品数据的方法。通过编写自动化脚本,我们可以高效地获取网页上的数据,为数据分析和市场研究提供支持。

参考文献

相关推荐
云上空几秒前
C#初级知识总结
开发语言·c#
Ankie Wan4 分钟前
notepad++技巧:查找和替换:扩展 or 正则表达式
python·正则表达式·notepad++
带娃的IT创业者4 分钟前
《AI大模型趣味实战》智能Agent和MCP协议的应用实例:搭建一个能阅读DOC文件并实时显示润色改写过程的Python Flask应用
人工智能·python·flask
JavaEdge在掘金12 分钟前
启动nginx报错,80 failed (97: Address family not supported by protocol)
python
纪元A梦19 分钟前
华为OD机试真题——绘图机器(2025A卷:100分)Java/python/JavaScript/C++/C/GO最佳实现
java·javascript·c++·python·华为od·go·华为od机试题
钢铁男儿21 分钟前
C# 深入理解类:面向对象编程的核心数据结构
开发语言·数据结构·c#
程序员小远31 分钟前
接口测试和单元测试详解
自动化测试·软件测试·python·测试工具·单元测试·测试用例·接口测试
Tech Synapse40 分钟前
电商商品推荐系统实战:基于TensorFlow Recommenders构建智能推荐引擎
人工智能·python·tensorflow
聿小翼43 分钟前
selenium-wire 与 googletrans 的爱恨情仇
python
咖啡调调。1 小时前
模板引擎语法-算术运算
python·django·sqlite