Python爬虫——selenium的安装和基本使用

1.什么是selenium？

1. selenium是一个用于web应用程序测试的工具
2. selenium测试直接运行在浏览器中，就像真正的用户在操作一样
3. 支持通过各种driver（FrifoxDriver，ItenrentExploreDriver，OperaDriver，ChromeDriver ）驱动
4. selenium也是支持无界面浏览器操作的

2.为什么使用selenium？

模拟浏览器功能，自动执行网页中的js代码，实现动态加载

3.安装selenium

1. 查看谷歌浏览器版本

   谷歌浏览器右上角
   

   帮助-->关于
   

   查看浏览器版本
   

2. 操作谷歌浏览器驱动下载地址
   http://npm.taobao.org/mirrors/chromedriver/下载完成解压

3. 安装selenium

pip install selenium==3.141.0

3.selenium的使用步骤

1. 导入

from selenium import webdriver

2. 创建谷歌浏览器操作对象

path = '谷歌浏览器驱动文件路径'
browser = webdriver.Chrome(path)

3. 访问网址

url = '要访问的网站地址'
browser.get(url)

4. 获取网页源码

# page_source 获取网页源码
content = browser.page_source

完整代码

# 1.导入selenium
from selenium import webdriver

# 2.创建浏览器操作对象
path = 'files/chromedriver.exe'

browser = webdriver.Chrome(path)

# 3.访问网址
url = 'https://www.jd.com/'
browser.get(url)

# page_source 获取网页源码
content = browser.page_source
print(content)