python爬虫常用的库

Python爬虫常用的库包括但不限于以下几种:

  1. 请求库:
    • `urllib`:Python3自带的库,用于发送HTTP请求,但现在可能被`requests`替代。1
  • `requests`:第三方库,功能强大,使用简单,是当前最常用的请求库。2
  • `Selenium`:自动化测试工具,用于模拟用户操作浏览器,适用于复杂页面。
  1. 解析库:

    • `lxml`:第三方库,支持HTML和XML的解析,支持XPath的解析方式。
    • `Beautiful Soup`:第三方库,API强大,使用方便。
    • `pyquery`:类似jQuery的库,用于解析HTML文档,支持CSS选择器。
  2. 存储库:

    • `PyMySQL`:MySQL的Python接口,用于存储数据。
    • `PyMongo`:MongoDB的Python接口。
    • `redis-py`:Redis的Python接口。
  3. 图像识别库:

    • `tesserocr`:Python使用的OCR技术来识别图像。
  4. 爬虫框架:

    • `pyspider`:国产的网络爬虫系统,具有丰富的WebUI、脚本编辑器、任务监控器、项目管理以及结果处理器。
    • `Scrapy`:功能强大,依赖库较多。

此外,还有其他一些常用的库,如`unirest for Python`、`hyper`、`PySocks`、`treq`、`aiohttp`等。

相关推荐
ONE_Gua11 小时前
chromium魔改——CDP(Chrome DevTools Protocol)检测01
前端·后端·爬虫
用户277844910499312 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
JavaEdge在掘金14 小时前
ssl.SSLCertVerificationError报错解决方案
python
我不会编程55514 小时前
Python Cookbook-5.1 对字典排序
开发语言·数据结构·python
ONE_Gua15 小时前
chromium魔改——navigator.webdriver 检测
前端·后端·爬虫
老歌老听老掉牙15 小时前
平面旋转与交线投影夹角计算
python·线性代数·平面·sympy
满怀101515 小时前
Python入门(7):模块
python
无名之逆15 小时前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
你觉得20515 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙15 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala