初始爬虫10

1. selenium执行js

因为selenium缺少下拉页面的操作,需要js触发式请求:driver.execute_scripts(js)

cpp 复制代码
# -*- coding: utf-8 -*-
from selenium import webdriver
import time
from selenium.webdriver.common.by import By

url = 'https://jn.lianjia.com/'

driver = webdriver.Chrome()

driver.get(url)
# 滚动条的拖动
js = 'scrollTo(0,500)'
# 执行js
driver.execute_script(js)

el_button = driver.find_element(By.XPATH, '/html/body/div[6]/div/div[1]/p/a')
# 使用 JavaScript 点击该按钮,防止被其他元素挡住
driver.execute_script("arguments[0].click();", el_button)

time.sleep(5)
driver.quit()

2.selenium页面等待(元素加载完)

2.1强制等待

常用的方法:time.sleep()

2.2隐式等待

最常用的方法,一般使用这个:

● 隐式等待针对的是元素定位,隐式等待设置了一个时间,在一段时间内判断元素是否定位成功,如果完成了,就进行下一步

● 在设置的时间内没有定位成功,则会报超时加载

python 复制代码
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.by import By

url = 'http://www.baidu.com'

driver = webdriver.Chrome()
# 设置位置之后的所有元素定位操作都有最大等待时间10秒,在10秒内会定期进行元素定位,超过设置时间之后将会报错
driver.implicitly_wait(10)

driver.get(url)
el = driver.find_element(By.XPATH,'//*[@id="lg"]/map/area')
print(el)

2.3显示等待

爬虫中不用,一般用于软件测试中,如果学爬虫路线可以只是简单了解一下

python 复制代码
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 创建 Chrome 浏览器驱动实例
driver = webdriver.Chrome()

# 打开百度首页
driver.get('https://www.baidu.com')

# 显式等待,等待 '好123' 链接出现
wait = WebDriverWait(driver, 20, 0.5)
wait.until(EC.presence_of_element_located((By.LINK_TEXT, '好123')))

# 使用新的方式查找元素
element = driver.find_element(By.LINK_TEXT, '好123')

# 打印 href 属性
print(element.get_attribute('href'))

# 关闭浏览器
driver.quit()

3.手动实现页面等待

通用解决页面等待的问题:

原理:

  1. 利用强制等待和显式等待的思路来手动实现

  2. 不停的判断或有次数限制的判断某一个标签对象是否加载完毕(是否存在)
    一个简单的淘宝翻页处理:

python 复制代码
import time

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()

driver.get('https://www.taobao.com')
time.sleep(2)

# i = 0
# while True:
for i in range(10):
    i += 1
    try:
        time.sleep(3)
        element = driver.find_element(By.XPATH, '//div[@class="shop-inner"]/h3[' + str(i) + ']/a')
        print(element.get_attribute('href'))
        break
    except:
        js = 'window.scrollTo(0, {})'.format(i * 500)  # js语句
        driver.execute_script(js)  # 执行js的方法
        # driver.quit()

4.配置对象

使用selenium开启无界面模式,使用代理ip,更换user-agent。

4.1无界面模式

python 复制代码
# -*- coding: utf-8 -*-
from selenium import webdriver
url = 'https://www.baidu.com'

# 创建配置对象
opt = webdriver.ChromeOptions()

# 添加配置参数,设置浏览器为无头模式
opt.add_argument('--headless')
opt.add_argument('--disable-gpu')

# 创建浏览器对象的时候添加配置对象
driver = webdriver.Chrome(options=opt)

driver.get(url)

driver.save_screenshot('baidu_到此一游1.png')

4.2代理ip和user-agent

cpp 复制代码
from selenium import webdriver
url = 'https://www.baidu.com'

# 创建配置对象
opt = webdriver.ChromeOptions()

# 添加配置参数,更换ip代理,必须重新启动浏览器
# opt.add_argument('--proxy-server=http://47.119.164.33:8081')

# 更换user-agent
opt.add_argument('--user-agent=Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Maxthon; .NET CLR 1.1.4322)')

# 创建浏览器对象的时候添加配置对象
driver = webdriver.Chrome(options=opt)
相关推荐
深蓝电商API1 小时前
将爬虫部署到服务器:Scrapy+Scrapyd 实现定时任务与监控
服务器·爬虫·scrapy
nightunderblackcat2 小时前
四大名著智能可视化推演平台
前端·网络·爬虫·python·状态模式
数据牧羊人的成长笔记7 小时前
python爬虫scrapy框架使用
爬虫·python·scrapy
Fairy_sevenseven20 小时前
[1]python爬虫入门,爬取豆瓣电影top250实践
开发语言·爬虫·python
white-persist1 天前
MCP协议深度解析:AI时代的通用连接器
网络·人工智能·windows·爬虫·python·自动化
深蓝电商API1 天前
不止是 Python:聊聊 Node.js/Puppeteer 在爬虫领域的应用
爬虫·python·node.js
摩羯座-185690305942 天前
爬坑 10 年!京东店铺全量商品接口实战开发:从分页优化、SKU 关联到数据完整性闭环
linux·网络·数据库·windows·爬虫·python
蒋星熠2 天前
反爬虫机制深度解析:从基础防御到高级对抗的完整技术实战
人工智能·pytorch·爬虫·python·深度学习·机器学习·计算机视觉
B站_计算机毕业设计之家2 天前
python汽车数据分析可视化系统 爬虫 懂车帝 毕业设计 Django框架 vue框架 大数据✅
爬虫·python·数据分析·django·汽车·推荐算法·懂车帝
qq_402605652 天前
python爬虫(二) ---- JS动态渲染数据抓取
javascript·爬虫·python