python爬虫常用的库

Python爬虫常用的库包括但不限于以下几种:

  1. 请求库:
    • `urllib`:Python3自带的库,用于发送HTTP请求,但现在可能被`requests`替代。1
  • `requests`:第三方库,功能强大,使用简单,是当前最常用的请求库。2
  • `Selenium`:自动化测试工具,用于模拟用户操作浏览器,适用于复杂页面。
  1. 解析库:

    • `lxml`:第三方库,支持HTML和XML的解析,支持XPath的解析方式。
    • `Beautiful Soup`:第三方库,API强大,使用方便。
    • `pyquery`:类似jQuery的库,用于解析HTML文档,支持CSS选择器。
  2. 存储库:

    • `PyMySQL`:MySQL的Python接口,用于存储数据。
    • `PyMongo`:MongoDB的Python接口。
    • `redis-py`:Redis的Python接口。
  3. 图像识别库:

    • `tesserocr`:Python使用的OCR技术来识别图像。
  4. 爬虫框架:

    • `pyspider`:国产的网络爬虫系统,具有丰富的WebUI、脚本编辑器、任务监控器、项目管理以及结果处理器。
    • `Scrapy`:功能强大,依赖库较多。

此外,还有其他一些常用的库,如`unirest for Python`、`hyper`、`PySocks`、`treq`、`aiohttp`等。

相关推荐
MessiGo10 分钟前
Python 爬虫 (1)基础 | 基础操作
开发语言·python
肥猪猪爸34 分钟前
使用卡尔曼滤波器估计pybullet中的机器人位置
数据结构·人工智能·python·算法·机器人·卡尔曼滤波·pybullet
LZXCyrus1 小时前
【杂记】vLLM如何指定GPU单卡/多卡离线推理
人工智能·经验分享·python·深度学习·语言模型·llm·vllm
Enougme1 小时前
Appium常用的使用方法(一)
python·appium
懷淰メ1 小时前
PyQt飞机大战游戏(附下载地址)
开发语言·python·qt·游戏·pyqt·游戏开发·pyqt5
hummhumm1 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
hummhumm2 小时前
第 28 章 - Go语言 Web 开发入门
java·开发语言·前端·python·sql·golang·前端框架
每天吃饭的羊2 小时前
python里的数据结构
开发语言·python
卡卡_R-Python2 小时前
UCI Heart Disease Data Set—— UCI 心脏病数据集介绍
python·plotly·django·virtualenv·pygame
饮长安千年月2 小时前
浅谈就如何解出Reverse-迷宫题之老鼠走迷宫的一些思考
python·网络安全·逆向·ctf