技术栈
tcp
Token_w
4 小时前
大数据
·
网络
·
爬虫
·
python
·
tcp/ip
·
tcp
Python爬虫进阶实战项目:使用青果网代理高效爬取某手办网详情数据
计算机,获取数据,还在慢慢复制粘贴?聪明的朋友都已经用爬虫高效获取数据,但是经常搞爬虫遇见ip管控防爬,咱们怎么处理?在我看来随着数据需求增加,爬虫成为高效获取数据的工具。然而,许多网站通过IP管控等防爬机制来阻止爬虫访问,导致频繁封IP。为解决这个问题,我们可以通过使用代理IP池、调整请求头、模拟用户行为等方法,突破防爬虫限制,保持爬虫高效运行。
silver9886
12 小时前
linux
·
网络
·
tcp
tcp的网络惊群问题
1. SO_REUSEPORT 可以解决epoll的惊群问题但是,现在的 TCP Server,一般都是 多进程+多路IO复用(epoll) 的并发模型,比如我们常用的 nginx 。如果使用 epoll 去监听 accept socket fd 的读事件,当有新连接建立时,所有进程都会被触发。因为由于 fork 文件描述符继承的缘故,所有进程中的 accept socket fd 是相同的。惊群效应依然存在。nginx 也必然存在这个问题,nginx 为了解决问题,并且保证各个 worker 之前 ac
琪露诺大湿
2 天前
java
·
开发语言
·
网络
·
jvm
·
java-ee
·
tcp
·
1024程序员节
JavaEE-网络编程(2)
目录1. TCP的socket api1.1 ServerSocket1.2 Socket1.3 关于连接
UestcXiye
3 天前
c++
·
网络协议
·
计算机网络
·
ip
·
tcp
《TCP/IP网络编程》学习笔记 | Chapter 12:I/O 复用
为了构建并发服务器、只要有客户端连接请求就会创建新进程。这的确是实际操作中采用的一种方案,但并非十全十美,因为创建进程时需要付出极大代价。这需要大量的运算和内存空间,由于每个进程都具有独立的内存空间,所以相互间的数据交换也要求采用相对复杂的方法。
ZachOn1y
3 天前
网络
·
网络协议
·
tcp/ip
·
计算机网络
·
tcp
·
拥塞控制
计算机网络:运输层 —— TCP 的拥塞控制
计算机网络中的链路容量(带宽)、交换节点中的缓存和处理机等都是网络的资源。在某段时间,若对网络中某一资源的需求超过了该资源所能提供的可用部分,网络性能就要变坏,这种情况就叫作拥塞(congestion)。若出现拥塞而不进行控制,整个网络的吞吐量将随输入负荷的增大而下降。
ZachOn1y
5 天前
网络
·
tcp/ip
·
计算机网络
·
tcp
·
三次握手
·
四次挥手
计算机网络:运输层 —— TCP 的 “三次握手” 与 “四次挥手”
TCP是面向连接的协议,它基于运输连接来传送TCP报文段。TCP运输连接的建立和释放,是每一次面向连接的通信中必不可少的过程。
雷神乐乐
8 天前
udp
·
网络编程
·
tcp
·
ipv4
·
ipv6
网络编程、UDP、TCP、三次握手、四次挥手
网络编程的概念:在网络通信协议下,不同计算机上运行的程序,进行的数据传输。应用场景:即时通信、网游对战、金融证券、国际贸易、邮件等等。
夏天匆匆2过
8 天前
linux
·
c++
·
单片机
·
网络协议
·
udp
·
tcp
linux性能提升之sendmmsg和recvmmsg
以udp发送为例。 sendmsg 和 sendmmsg :两者都能发送多块数据,区别在于sendmsg会将所有数据整合成一个UDP包发出,sendmmsg是每个 mmsghdr 一个UDP包。sendmmsg 是 sendmsg 的复合加强版。
UestcXiye
9 天前
c++
·
计算机网络
·
ip
·
tcp
《TCP/IP网络编程》学习笔记 | Chapter 9:套接字的多种可选项
前文关于套接字的描述仅仅是使用其默认套接字特性来进行数据通信,这对于简单的使用场景来说似乎是可以的,然而实际工作场景中的确需要配置相关套接字选项来满足一些特殊需求。下图所示是一些常用的套接字可选配置选项。
ZachOn1y
9 天前
网络协议
·
tcp/ip
·
计算机网络
·
udp
·
tcp
·
端口号
计算机网络:运输层 —— 运输层端口号
端口号只具有本地意义,即端口号只是为了标识本计算机网络协议栈应用层中的各应用进程。在因特网中不同计算机中的相同端口号是没有关系的,即相互独立。另外,TCP和UDP端口号之间也是没有关系的。
UestcXiye
9 天前
c++
·
计算机网络
·
网络编程
·
tcp
《TCP/IP网络编程》学习笔记 | Chapter 10:多进程服务器端
为了提高客户端的平均满意度,通常会使用并发服务器的方法,并且网络程序中数据通信时间比 CPU 运算时间大,因此向多个客户端提供服务是一种有效利用 CPU 的方式。
晨曦启明634
9 天前
网络
·
udp
·
socket
·
多线程
·
tcp
计算机网络-网络编程
学习传输层给应用层提供的api,可以写代码把数据交给传输层,进一步通过层层封装就可以把数据通过网卡发送出去了
skywind
10 天前
c语言
·
网络
·
c++
·
windows
·
udp
·
tcp
支持 Win10 的网络环境模拟(丢包,延迟,带宽)
升级 Windows 10 以后,原来各种网络模拟软件都挂掉了,目前能用的就是只有 clumsy:唯一问题是不支持模拟带宽,那么平时要模拟一些糟糕的网络情况的话,是不太方便的,而开虚拟机用 Linux tc 或者设置个远程 linux 网关又很蛋疼,于是我顺便给他加了个带宽模拟功能:
UestcXiye
10 天前
c++
·
计算机网络
·
ip
·
tcp
·
dns
《TCP/IP网络编程》学习笔记 | Chapter 8:域名及网络地址
DNS(Domain Name System,域名系统),是对IP地址和域名进行互相转换的系统,其核心是DNS服务器。
CXDNW
10 天前
网络
·
http
·
面试
·
tcp
·
流量控制
·
重传机制
【网络面试篇】TCP 相关——重传机制、滑动窗口、流量控制、拥塞控制、Keep-Alive、KeepAlive
目录一、问题综述1. TCP 的重传机制(1)超时重传(2)快速重传(3)SACK 方法(4)Duplicate SACK
可涵不会debug
11 天前
运维
·
服务器
·
开发语言
·
网络协议
·
tcp
【计网】基于TCP协议的Echo Server程序实现与多版本测试
目录前言:1、InitServer类的实现1.1. 创建流式套接字1.2. bind 绑定一个固定的网络地址和端口号
UestcXiye
13 天前
c++
·
计算机网络
·
ip
·
tcp
《TCP/IP网络编程》学习笔记 | Chapter 3:地址族与数据序列
IP是为收发网络数据而分配给计算机的值。端口号是为区分程序中创建的套接字而分配给套接字的序号。IP地址有两种表达形式:
UestcXiye
14 天前
c++
·
计算机网络
·
tcp
《TCP/IP网络编程》学习笔记 | Chapter 4:基于TCP的服务器端/客户端(1)
根据数据传输方式的不同,基于网络协议的套接字一般分为TCP套接字和UDP套接字。因为TCP套接字是面向连接的,因此又称为基于流(stream)的套接字。
UestcXiye
17 天前
网络
·
c++
·
ip
·
tcp
《TCP/IP网络编程》学习笔记 | Chapter 2:套接字类型与协议设置
协议就是一种规则,是为了完成数据交换而定的约定。成功返回文件描述符,否则-1。参数:头文件sys/socket.h中声明的协议族:
友友马
19 天前
linux
·
运维
·
网络
·
tcp
『 Linux 』网络传输层 - TCP(二)
在TCP协议报文的报头中存在一个用于标志TCP报文类型的标志位(不考虑保留标志位),这些标志位以比特位选项的方式存在,即对应标志位为0则表示为假,对应标志位为1则为真;