使用Python和Selenium爬取京东商品数据

简介❤❤

码农不是吗喽(大学生版)-CSDN博客

在本文中,我们将探讨如何使用Python编程语言结合Selenium库来爬取京东网站上的商品数据。Selenium是一个强大的工具,可以模拟真实用户对网页的交互操作,非常适合进行网页自动化测试和数据抓取。

一、环境准备🎉

(❤ ω ❤)

  • Python 3.x
  • Selenium库
  • lxml库
  • ChromeDriver或EdgeDriver(根据使用的浏览器)

二、正文🎃

1. 导入必要的库

首先,我们需要导入Selenium WebDriver以及lxml库,用于解析网页源代码。

复制代码
from selenium import webdriver
from selenium.webdriver.common.by import By
from lxml import etree
import time

2. 设置WebDriver

接下来,初始化WebDriver,这里我们使用的是Edge浏览器。

复制代码
driver = webdriver.Edge()
driver.maximize_window()

3. 编写爬虫函数

定义一个函数get_info来获取商品信息,并通过递归调用NextPage函数来实现翻页。

复制代码
def get_info(url, page):
    page = page + 1
    driver.get(url)
    driver.implicitly_wait(10)
    selector = etree.HTML(driver.page_source)
    infos = selector.xpath('//*[@id="J_goodsList"]/ul/li')  # 修改XPath选择器以匹配正确的元素
    for info in infos:
        price = info.xpath('.//div[3]/strong/i/text()')[0]  # 确保返回的是列表,并使用[0]获取第一个元素
        print(price)
        shop = info.xpath('.//div[7]/span/a/text()')[0]  # 同上
        print(shop)
    if page <= 5:
        NextPage(url, page)
    # else部分不需要,可以删除

4. 翻页逻辑

定义NextPage函数来处理翻页逻辑,并在找不到下一页按钮时给出提示。

复制代码
def NextPage(url, page):
    driver.get(url)
    driver.implicitly_wait(10)
    try:
        driver.find_element_by_xpath('//*[@id="J_bottomPage"]').click()  # 确保元素存在
    except:
        print("没有找到下一页按钮,可能已经到最后一页或页面结构有变化。")
    time.sleep(10)
    driver.get(driver.current_url)
    driver.implicitly_wait(10)
    get_info(driver.current_url, page)

5. 主函数

编写主函数来启动爬虫,首先访问京东首页,搜索"手机",然后开始爬取商品数据。

复制代码
if __name__ == '__main__':
    page = 1
    url = 'https://www.jd.com/'
    driver.get(url)
    driver.implicitly_wait(10)

    # 使用By.ID来指定查找元素的方式
    driver.find_element(By.ID, 'key').clear()
    driver.find_element(By.ID, 'key').send_keys('手机')

    # 假设'button'是按钮元素的class name
    driver.find_element(By.CLASS_NAME, 'button').click()
    time.sleep(3)
    get_info(driver.current_url, page)

五、结论

本文介绍了使用Python和Selenium库爬取京东商品数据的方法。通过编写自动化脚本,我们可以高效地获取网页上的数据,为数据分析和市场研究提供支持。

参考文献

相关推荐
dbdr09011 分钟前
Linux 入门到精通,真的不用背命令!零基础小白靠「场景化学习法」,3 个月拿下运维 offer,第二十六天
linux·运维·服务器·网络·python·学习
花花无缺6 分钟前
python自动化-pytest-用例发现规则和要求
后端·python
一枝小雨9 分钟前
【C++】Vector完全指南:动态数组高效使用
开发语言·c++·笔记·vector·学习笔记·std库
诗书画唱18 分钟前
【前端教程】JavaScript DOM 操作实战案例详解
开发语言·前端·javascript
YUELEI11836 分钟前
langchain 提示模版 PromptTemplate
python·langchain
jiaway39 分钟前
【C语言】第一课 环境配置
c语言·开发语言
东方不败之鸭梨的测试笔记40 分钟前
LangChain: Models, Prompts 模型和提示词
人工智能·python·langchain
AI Echoes1 小时前
别再手工缝合API了!开源LLMOps神器LMForge,让你像搭积木一样玩转AI智能体!
人工智能·python·langchain·开源·agent
AI Echoes1 小时前
从零构建企业级LLMOps平台:LMForge——支持多模型、可视化编排、知识库与安全审核的全栈解决方案
人工智能·python·langchain·开源·agent
小红帽2.01 小时前
从零构建一款开源在线客服系统:我的Go语言实战之旅
开发语言·golang·开源