技术栈
twisted
Minner-Scrapy
10 天前
java
·
爬虫
·
python
·
scrapy
·
网络爬虫
·
twisted
Scrapy 2.17 源码解析：Scheduler 调度器与磁盘/内存双队列
本文基于 Scrapy 2.17.0 的真实源码逐行分析。 其中 SCHEDULER_START_MEMORY_QUEUE / SCHEDULER_START_DISK_QUEUE（起始请求独立队列）是 2.13+ 才有的机制，旧版本没有，网上资料基本没覆盖。
Python_1981
3 年前
python
·
网络编程
·
socket
·
非阻塞
·
io多路复用
·
twisted
·
同步阻塞
网络编程重要知识点总结
Socket在默认情况下是阻塞的。阻塞体现在以下几个方面：可以通过设置socket的阻塞选项来将其编程为非阻塞。
我是有底线的