爬虫练习:Selenium使用案例

一、获取某电商平台商品信息

python 复制代码
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import csv

with open('苏宁商品.csv',mode='a',newline='',encoding='utf-8') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['title','price','comment','shop_name','href'])
#打开谷歌浏览器
driver = webdriver.Chrome()
#打开网页
driver.get('https://search.suning.com/%E7%A9%BA%E8%B0%83/')
driver.implicitly_wait(5)


#滚动
driver.execute_script('document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()')
time.sleep(1)
driver.execute_script('document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()')
#document.querySelector("body > div.ng-footer > div.ng-s-footer")
time.sleep(1)
#提取数据
divs = driver.find_elements(By.CSS_SELECTOR,'.product-box')
for div in divs:
    price = div.find_element(By.CSS_SELECTOR,'.price-box').text
    title = div.find_element(By.CSS_SELECTOR,'.title-selling-point').text
    comment = div.find_element(By.CSS_SELECTOR,'.info-evaluate').text
    shop_name = div.find_element(By.CSS_SELECTOR,'.store-stock').text
    href = div.find_element(By.CSS_SELECTOR,'.info-evaluate a').get_attribute('href')
    print(title,price,comment,shop_name,href)
    with open('苏宁商品.csv', mode='w', newline='', encoding='utf-8') as f:
        csv_writer = csv.writer(f)
        csv_writer.writerow([title,price,comment,shop_name,href])

input()

二、获取某网站小说信息

python 复制代码
url ="https://www.00ksw.com/html/3/3804/"
from selenium.webdriver import Chrome
from selenium.webdriver.common.by import By
driver = Chrome()
driver.get(url)
# print(driver.page_source)
links = driver.find_elements(By.XPATH,  "//div[@class='ml list']//ul//li//a")
for link in links:
    print(link)

版权声明和免责声明

本博客提供的所有爬虫代码和相关内容(以下简称"内容")仅供参考和学习之用。任何使用或依赖这些内容的风险均由使用者自行承担。我(博客所有者)不对因使用这些内容而产生的任何直接或间接损失承担责任。

严禁将本博客提供的爬虫代码用于任何违法、不道德或侵犯第三方权益的活动。使用者应当遵守所有适用的法律法规,包括但不限于数据保护法、隐私权法和知识产权法。

如果您选择使用本博客的爬虫代码,您应当确保您的使用行为符合所有相关法律法规,并且不会损害任何人的合法权益。在任何情况下,我(博客所有者)均不对您的行为负责。

如果您对本声明有任何疑问,或者需要进一步的澄清,请通过我的联系方式与我联系。

相关推荐
wuyk5552 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5554 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10214 小时前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5551 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5551 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
火云代理2 天前
同一个网站,有的网络能打开、有的打不开?认识 IPv4 与 IPv6 的访问差异
服务器·网络·网络协议·tcp/ip·测试工具·php·状态模式
wuyk5552 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.2 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5554 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http
freejackman6 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构