Python爬虫常用的库包括但不限于以下几种:
- 请求库:
- `urllib`:Python3自带的库,用于发送HTTP请求,但现在可能被`requests`替代。1
- `requests`:第三方库,功能强大,使用简单,是当前最常用的请求库。2
- `Selenium`:自动化测试工具,用于模拟用户操作浏览器,适用于复杂页面。
-
解析库:
- `lxml`:第三方库,支持HTML和XML的解析,支持XPath的解析方式。
- `Beautiful Soup`:第三方库,API强大,使用方便。
- `pyquery`:类似jQuery的库,用于解析HTML文档,支持CSS选择器。
-
存储库:
-
图像识别库:
- `tesserocr`:Python使用的OCR技术来识别图像。
-
爬虫框架:
- `pyspider`:国产的网络爬虫系统,具有丰富的WebUI、脚本编辑器、任务监控器、项目管理以及结果处理器。
- `Scrapy`:功能强大,依赖库较多。
此外,还有其他一些常用的库,如`unirest for Python`、`hyper`、`PySocks`、`treq`、`aiohttp`等。