关于常用爬虫库的介绍情况, 并且给出比较简略的说明内容。
更新时间为2025年11月10日, 具体时间为08时59分35秒。投稿方的信息表明是WDC进行的提交操作。
这里头啊, 就包含了一些比较常用的爬虫库, 这些库大体上可以分作几类, 比如说有专门处理网络请求的网络库, 像大名鼎鼎的库就是其中之一。
这个列表里面，它包含了那些关于网页抓取方面的库, 还有那些关于数据处理方面的库。
网络库
通用
-网络库()。
-网络库。
这个部分是指一个网络相关的库, 而它是基于某个特定的基础或者核心来构建的。
也就是网络相关的那部分库, 在这个位置进行了绑定操作。
这个HTTP库具有一个安全的连接池, 它支持文件的post操作, 并且它的可用性比较高。
-- 网络库。
这是一个非常简单的库, 它具有极强的风格表现力, 使用者不需要再去启动一个独立的网页浏览器设备或者程序, 就可以直接浏览那些网络上的页面信息。
是一个能够和那个网站进行自动的相互交换信息的一个软件库。
这是一个有状态的, 并且是可以进行编程控制操作的网页浏览工具软件。
它是位于底层的那个网络接口, 也就是我们说的()部分。
for------它是一堆东西, 这些个东西是一套可以被用在各种不同语言里头的那一种轻量的那个http库。
这是一个能够支持HTTP/2协议的客户端, 它的使用是通过hyper这个库来实现的。
这是一个需要更新并且要积极地去做维护的一个版本, 其中包含了对于错误进行的修复以及一些其他的特征的补充, 它可以用来直接替换作为模块使用。
异步
这个treq, 类似于那种API, 它的基础啊, 是建立在某些东西上面的。
这是一个符合PEP-3156标准的, 基于HTTP协议的客户端以及服务器端功能的, 相关实现部分。
网络爬虫框架
功能齐全的爬虫
这里说的是网络爬虫框架, 它是基于什么做出来的呢, 具体是什么。
-- 网络爬虫框架（基于）。
有一个强大的爬虫系统, 并且这个爬虫系统是足够强大存在的。
这玩意儿叫cola, 它是一个分布式爬虫框架。
其他
这是一个基于可视化的手段来进行网页数据抓取的工具。
<强>--的HTTP资源工具包。它可以让你轻松地访问HTTP资源, 并围绕它建立的对象。
它是一款爬虫微框架, 该框架是建立在某个基础之上的。
HTML/XML解析器
通用
这个库是由 C语言写成的, 处理 HTML以及 XML的时候效率非常高, 它支持用 XPath语法。
这一步骤是对DOM树以及CSS选择器进行解析处理<。
把DOM树给解析掉, 然后去选择那些匹配的选择器。
这是一个处理HTML还有XML的低效库, 而且是纯实现的方式。
这个规范是用来生成符合html和xml文档标准的dom节点的, 而大家知道的那个情况就是, 现在的所有浏览器上, 都有在广泛地应用着这个具体的东西。
对于RSS以及ATOM这种形式的信息源进行解析的操作。
这提供了一套字符串转义机制, 目的是为了确保在XML*、HTML以及XHTML这些技术格式下面, 内容能够符合安全方面的要求。*
这是一个模块, 它可以让你在处理XML的时候, 感觉到自己就好像在处理JSON一样。
可以把HTML和CSS的东西转换成PDF格式。
可以轻松的做到把那种叫作XML的配置文件, 转化成为程序里面的对象这一件事情。
清理
把里面的HTML标记给清除掉。
通过让数据的世界变得清晰和有条理, 从而消除混乱带来的糟糕影响。
文本处理
这是一个用来解析以及操作那种简单文本内容的库。
通用
它使用了标准库, 其作用主要是为了帮助进行那些能够体现出来差异的对比分析工作。
快速完成距离以及字符串相似度的计算。
对于字符串进行模糊的匹配处理。
关于esmre, 它其实就是一个用来加速正则表达式处理的工具。
ftfy这个工具是用来自动整理文本的, 它能够通过减少碎片化的情况来优化内容。
转换
将文本转成ASCII这种形式。
字符编码
它的作用是打印出能够被人类直接阅读到的字符, 而不是那些经过了转义处理之后的字符串。
这种编码器的兼容性非常普遍, 其能够支持并处理的字符编码类型, 占了所有可能编码方式的三分之二。
这是一个用来把中国的汉字给转变成那个拼音的一个库。
pangu.py这个程序的作用是用来格式化文本之中, 中文汉字以及假名等等和英文字母还有数字之间的空格距离。
Slug化
这是一个能够被妥善存储起来进行保留的一个用来存放数据的仓库。
- -- 一个可以把某个东西换成 ASCII编码形式的库。
这是一个工具, 这个工具能够生成 slugs。
这是一个用来处理俄语字符串的简单工具, 这个工具里面包括了一些特定的功能点, 当然也包含了一些其他内容。
通用解析器
PLY -- lex和yacc解析工具的实现。
这是一个能够针对某个通用的框架来进行生成的语法分析操作的, 它本身就是一个分析器。
人名解析器
把人的名字这个东西给它拆开来看, 分析清楚它里面的各个组成部分分别到底是什么。
电话号码析器
对国际电话号码进行解析, 把数据整理成格式化的样子, 接着存到系统里, 最后再反复验证看它对不对。
用户代理字符串码析器
这是一个用来对浏览器的用户代理进行解析的工具。
HTTP Agent, 它指的是那些可以被叫做作是 HTTP 代理分析器的东西。
对于具有特定格式的文件进行相应的处理作业。
它是针对特定文本格式进行解析和处理的一个库。
通用
这是一个模块, 它的作用是把数据进行导出, 导出的格式包括XLS、CSV、JSON、YAML等等。
从各种文件中提取文本, 比如说有微软的Word文档, 还有PDF格式的文件。
这是一个用于去解析那些存在混乱情况的表格数据的实用工具。
rows 是一个被广泛使用的一种数据方面的一个常用的接口, 这个接口所能够支持的格式类型是存在着非常多的, 在目前的这个阶段之中, 这种接口已经支持了像 CSV 这样的格式、HTML 这样的格式、XLS 这样的格式以及 TXT 这样的格式, 而在未来的时间段里面, 该接口还会去提供更加多的这种类型的格式的支持。
这个程序可以对 /2008 的 docx 文件进行读取, 可以进行查询, 还可以修改这些文件。
xlwt跟xlrd这两个东西, 就是用来从excel文件里头把数据、格式信息啊这些内容进行读取和写入操作的。
这是一个用来创建Excel文件的模块, 文件的具体名称是.xlsx。
它是一个基于BSD许可证的库, 使得在Excel中调用它变得相当容易, 而且反过来操作也是可以的。
这是一个专门用来进行读取和写入操作的库, 它所支持的文件格式非常之多, 包括有XLSX, 也有XLSM, 还有xltx以及XLTM这些类型的文件。
把那个数据结构给提取出来, 然后呢再把它弄成一个电子表格的样子。
PDF信息提取
这是一个用来帮助我们把PDF文件里面的信息给提取出来的工具, 也就是说它是一个专门处理这类工作的应用。
这是一个库, 这个库具备把PDF页面进行分割的操作, 也具备把PDF页面进行合并的操作, 同时这个库还具备把PDF页面进行转换的操作。
允许快速地创建丰富的PDF文档。
这个动作指的是从PDF文件格式的文件里面, 直接把表格给提取出来。
这是一个由一个人来实现的, 这个人的名字是John。
它就是那个速度跑得最快, 而且功能覆盖得特别全面的一种纯解析器。
它是被完全实现的, 并且具有速度快这一特点。
YAML解析器
这是一个用于YAML解析的解析器代码部分。
CSS
这是一个库, 专门用于进行CSS方面的处理工作的。
ATOM/RSS
这是一种通用的解析器, 它可以用来处理所谓的feed格式的数据。
SQL
就是一个没法去检查它正不正确那种SQL语句的分析器。
HTTP
HTTP
该工具是由c语言编写出来的, 专门用来处理http协议的请求与响应这两类消息的内容, 其实现的核心是一个解析器结构。
微格式
这是一个模块, 它用来对Open Graph协议的标签进行解析。
可移植的执行体
这是一个模块, 这个模块能够在多个平台上运行, 这个模块的主要功能是对可移植执行体也就是PE文件的解析工作和对这些文件的处理工作。
PSD
psd-tools这个工具的功能就是, 它能够帮助把Adobe 那个PSD文件读取到数据结构里面去。
自然语言处理
这是一个专门用来处理跟人类说的那些话有关的问题的库。
NLTK。编写程序来处理人类语言数据时, 最好的平台是它。
他的系统里有一个专门用于从网络上获取数据的模块, 这个模块里面包括了自然语言处理方面的工具, 还有机器学习技术以及其他的相关功能。
这个工作为我们提供了统一的编程接口, 目的是为了更好地完成自然语言处理方面的研究任务, 其底层架构是建立在 NLTK 以及其它一些重要基础之上的。
这就是 jieba 这个工具, 它专门用来做中文的分词处理的。
它是一个用来处理中文文本的库。
loso------它也是拿来当中文分词工具库用的一个东西。
中文分词这件事儿, 它是建立在了条件随机域这样一个基础上面的。
它是那个.py这个文件, 代表的是一个独立的语言识别系统。
这里存在一个韩文史实形态的存储集合。
这是一个俄语形态分析器, 它包含了词性标注的功能, 同时还具备一个用于处理词形变化的引擎。
PyPLN 就是一个那种, 专门用来处理分布式自然语言任务的通道, 它是由人来编写代码去控制的, 这个项目呢, 它就是想着法子要搞出一个简单点的办法, 让这个叫 NLTK 的东西, 能通过啥网络接口的方式去操作那些特别庞大的语言数据库。
浏览器自动化与仿真
所谓的自动化, 指的是针对像浏览器、火狐浏览器、Opera浏览器、IE浏览器这类工具所进行的真正的操作。
Ghost.py -- 对PyQt的的封装（需要PyQT）。
它提供了一部分对PyQt的的封装, 这个工作需要用到PyQT。
这是一个由网页驱动的, 并且包含了客户端部分以及Zope组件的用于模拟操作的通用API浏览器模拟器。
多重处理
标准库里面的线程, 它是用来运行的。这种办法, 对于那种I/O密集型任务来说, 是非常有效的。但是, 对于CPU绑定的任务, 它就没有什么用了。之所以会这样, 是因为那个GIL的存在。
标准的库是支持进行多进程运行的。
这是一个基于分布式消息传递机制的异步任务队列, 也可以被称作作业队列。
这个模块, 它为了给那个异步执行的调用动作, 提供了一个层次相对比较高一点的接口形式。
异步
异步网络编程库
对于标准库, 需要处于三点四加版本以上的情况, 其内包含了异步输入输出、时间循环、协同程序还有任务这几方面内容。
这是一种网络引擎的框架, 它的工作方式是依靠事件驱动来实现的。
这是一个网络框架, 同时也是一个异步的网络库。
这是一个基于事件驱动机制来进行并发操作的架构框架。
这是一个基于绿色事件的, 并且被用于处理I/O操作的框架。
这是一个网络库, 这个网络库是建立在协程的基础上的, 而且这个网络库是被拿来使用的。
这是一个具有WSGI支持能力的异步框架, 它允许在基于同步接口运行的环境中执行异步操作。
这是一个关于异步代码的, 让人感到十分奇妙的装饰性语法结构。
队列
这是一个基于分布式消息传递机制的异步任务队列, 也可以被称作作业队列。
huey是一个小型的多线程任务队列。
mrq就是, 它是一个分布式的工作任务队列, 这个系统是使用了redis以及其他的组件来进行构建的。
RQ, 这是一个利用Redis来实现的轻量级的任务队列的管理工具。
它是一个简单的队列, 这个队列是基于来进行构建的, 而且它具有可以无限扩展的能力。
- -- 的 API。
云计算
把执行代码这个动作交给云端去做。
在云端进行R语言以及相关的程序代码方面的运行操作。
电子邮件
电子邮件解析库
这里是电子邮件地址以及解析库。
Talon--库是用来提取消息的报价和签名的。