（Win11系统）搭建Python爬虫环境

详细安装步骤

安装Python
- 访问Python官网下载最新的Windows安装程序，Python。
- 运行下载的安装程序。非常重要的一步是：勾选 "Add Python to PATH" 选项，这能避免后续在命令行中运行Python的麻烦。
- 完成安装后，打开命令提示符（CMD）或Windows PowerShell，输入 python --version。如果显示Python版本号，说明安装成功。
选择并安装IDE
- PyCharm ：适合大型项目，功能全面。可从 JetBrains官网下载安装pycharm。

或者https://www.alipan.com/t/0vRrQJWj8BmK0OJAzrQW

- VSCode ：轻量灵活，通过安装Python插件提供强大功能。从 VSCode官网下载安装后，在扩展商店搜索并安装 "Python" 插件即可Visual Studio Code。
安装包管理工具 (pip)

pip通常会随Python自动安装。可以通过在命令行输入 pip --version来验证。

Python爬虫的强大功能依赖于各种库。你可以使用pip命令一键安装这些核心库：

pip install requests selenium beautifulsoup4 lxml pandas pymysql pymongo redis

|----------------|-----------------------------------|
| 库名 | 主要用途 |
| requests | 发送HTTP请求，获取网页内容。是爬虫最基础的库 |
| urllib | Python内置的HTTP请求库，但requests更简单易用 |
| BeautifulSoup4 | 解析HTML/XML文档，配合lxml解析器能高效提取数据 |
| lxml | 高性能的HTML/XML解析库，支持XPath |
| pyquery | 类似jQuery语法，如果你熟悉jQuery会感到很亲切 |
| selenium | 模拟真实浏览器操作，用于处理JavaScript动态加载的页面 |
| scrapy | 专业的爬虫框架，适合构建大型、复杂的爬虫项目 |
| pandas | 数据处理和分析，用于清洗、分析爬取到的结构化数据 |
| pymysql | 操作MySQL数据库 |
| pymongo | 操作MongoDB数据库 |
| redis | 操作Redis数据库，常用于分布式爬虫或缓存 |

验证库安装 ：安装完库后，可以打开Python交互环境，输入import requests等命令，若无报错则说明安装成功。
配置浏览器驱动（针对Selenium） ：如果你需要使用Selenium控制Chrome浏览器，需下载与你的Chrome浏览器版本匹配的 ChromeDriver。
- 查看Chrome版本：在浏览器地址栏输入 chrome://version/。
- 下载对应版本的ChromeDriver，可以从官方下载地址或淘宝镜像获取chromedriver。
- 将下载的chromedriver.exe文件放在Python安装目录下，或任何在系统PATH环境变量中的目录里。
使用虚拟环境（推荐） ：为避免不同项目间的库版本冲突，推荐使用虚拟环境。可以通过 pip install pipenv安装Pipenv，然后在项目目录下使用 pipenv install创建隔离环境。

简单示例验证

环境配置好后，可以编写一个简单的爬虫脚本进行测试：

python 复制代码

import requests
from bs4 import BeautifulSoup

url = 'https://httpbin.org/json'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
print(soup.prettify())