(Win11系统)搭建Python爬虫环境

详细安装步骤
  1. 安装Python

    • 访问Python官网下载最新的Windows安装程序,Python。

    • 运行下载的安装程序。非常重要的一步是:勾选 "Add Python to PATH" 选项,这能避免后续在命令行中运行Python的麻烦。

    • 完成安装后,打开命令提示符(CMD)或Windows PowerShell,输入 python --version。如果显示Python版本号,说明安装成功。

  2. 选择并安装IDE

    • PyCharm :适合大型项目,功能全面。可从 JetBrains官网下载安装pycharm。

或者https://www.alipan.com/t/0vRrQJWj8BmK0OJAzrQW

    • VSCode :轻量灵活,通过安装Python插件提供强大功能。从 VSCode官网下载安装后,在扩展商店搜索并安装 "Python" 插件即可Visual Studio Code。
  1. 安装包管理工具 (pip)

    pip通常会随Python自动安装。可以通过在命令行输入 pip --version来验证。

Python爬虫的强大功能依赖于各种库。你可以使用pip命令一键安装这些核心库:

pip install requests selenium beautifulsoup4 lxml pandas pymysql pymongo redis

|----------------|-----------------------------------|
| 库名 | 主要用途 |
| requests | 发送HTTP请求,获取网页内容。是爬虫最基础的库 |
| urllib | Python内置的HTTP请求库,但requests更简单易用 |
| BeautifulSoup4 | 解析HTML/XML文档,配合lxml解析器能高效提取数据 |
| lxml | 高性能的HTML/XML解析库,支持XPath |
| pyquery | 类似jQuery语法,如果你熟悉jQuery会感到很亲切 |
| selenium | 模拟真实浏览器操作,用于处理JavaScript动态加载的页面 |
| scrapy | 专业的爬虫框架,适合构建大型、复杂的爬虫项目 |
| pandas | 数据处理和分析,用于清洗、分析爬取到的结构化数据 |
| pymysql | 操作MySQL数据库 |
| pymongo | 操作MongoDB数据库 |
| redis | 操作Redis数据库,常用于分布式爬虫或缓存 |

  • 验证库安装 :安装完库后,可以打开Python交互环境,输入import requests等命令,若无报错则说明安装成功。

  • 配置浏览器驱动(针对Selenium) :如果你需要使用Selenium控制Chrome浏览器,需下载与你的Chrome浏览器版本匹配的 ChromeDriver。

    • 查看Chrome版本:在浏览器地址栏输入 chrome://version/。

    • 下载对应版本的ChromeDriver,可以从 官方下载地址或淘宝镜像获取chromedriver。

    • 将下载的chromedriver.exe文件放在Python安装目录下,或任何在系统PATH环境变量中的目录里。

  • 使用虚拟环境(推荐) :为避免不同项目间的库版本冲突,推荐使用虚拟环境。可以通过 pip install pipenv安装Pipenv,然后在项目目录下使用 pipenv install创建隔离环境。

简单示例验证

环境配置好后,可以编写一个简单的爬虫脚本进行测试:

python 复制代码
import requests
from bs4 import BeautifulSoup

url = 'https://httpbin.org/json'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
print(soup.prettify())
相关推荐
郝学胜-神的一滴7 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna8 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5558 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5558 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
JonaHu9 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
prince_zxill10 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
少司府10 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
伞伞悦读11 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
console.log('npc')12 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
honker_X12 小时前
Python字符串全攻略:从入门到精通
开发语言·python