网络IO基础知识

IO基本概念

IO全称为Input/Output,中文为输入/输出。在计算机中,常用的IO设备有硬盘、网络、键盘,显示器等。在操作系统层面,I/O系统有文件、网络、标准输入和输出,管道等。Java提供的IO类库就是用来读写这些IO系统的。

输入流:将文件、网络、标准输入(System.in)、管道中的数据,输入到内存中;

输出流:将内存中的数据输出到文件、网络、标准输出(System.out),管道中。

系统调用基本概念

当应用程序发起 I/O 调用后,会经历以下步骤:

java 复制代码
1. 应用发起read IO请求,然后阻塞  -> 第一阶段
2. 内核先检查buffer是否有相应的缓存数据  -> 第二阶段
  - 若没有,内核会去IO设备中读取(一般设备IO比较慢,需要等待),
  - 然后读取到kernel buffer中;
  - 若有,将数据从内核直接复制到进程空间中
注意:IO的效率主要取决于等待时间wait time 和 拷贝时间copy time

IO优化技术

mmap(memory-mapped file, 内存映射文件)

  • 适用场景:本地文件的读写,不适合网络【需要对数据大小有预估,网络数据无法预估】
    • 少量文件读写:使用基本的IO技术更合适,尽管需要数据拷贝,但是拷贝的数据量小,不太会影响读写性能
    • 大文件读写:数据拷贝非常影响性能,使用mmap更加合适
  • 基本原理:摒弃用户态和内核态的概念,使用物理内存、虚拟内存、缺页中断架构,相当于直接将数据在磁盘和用户空间之间互相拷贝,减少了数据拷贝次数。

在网络环境中,数据的大小往往是动态变化的,难以提前预估。而 mmap 在使用时通常需要对映射的文件大小等有一定的预估。因为 mmap

是将文件映射到内存空间,这个内存空间是需要预先分配或者至少有一个合理的预期范围的

sendfile零拷贝技术

  • 适用场景:用于两个IO设备之间互相传输数据,尤其是网络IO
  • 基本原理:减少不必要的拷贝次数和系统调用次数。
    • 直接从内核读缓冲区拷贝到内核写缓冲区,节省1次数据拷贝
    • 应用程序只需要一次sendfile系统调用,不需要read,write两次系统调用

阻塞/非阻塞/同步/异步基础概念

阻塞/非阻塞:强调的是主动轮询

  • 阻塞:去一家餐厅就餐,就餐的人太多,取号之后需要一直等待,啥也干不了
  • 非阻塞:取号之后,一会回来看一下有没有轮到你,没有就继续逛,可以干自己的事情

同步/异步:强调的是被通知

  • 异步:取号时登记了手机号,自己可以干自己的事情,服务员会打电话通知你
  • 同步:如果需要自己查看有没有轮到你,不管是阻塞还是非阻塞模式,都是同步
相关推荐
Raas1001 小时前
企业AI网关哪个好?MAI Gateway(魔芋企业级AI网关)入选2026年企业AI网关推荐清单
网络·人工智能·gateway·企业·ai网关·mai gateway
芯盾时代1 小时前
《金融业网络安全管理办法(征求意见稿)》全条款深度拆解(一)
网络·安全·web安全
深蓝海拓2 小时前
基于QtPy (PySide6) 的PLC-HMI工程实战记录(五)为当前动作画面的信号连接变量
网络·笔记·python·学习·pyqt
啦啦啦啦啦zzzz2 小时前
时间轮定时器
linux·服务器·网络·c++·定时器
ITyunwei09872 小时前
从 ITIL 视角量化-第三集:工单系统如何成为 ITSM 治理抓手?架构+量化
运维·网络·企业微信
半桶水专家2 小时前
MQTT协议使用手册
网络
那年窗外下的雪.3 小时前
AIDC 学习日志|第 14 天|MAC Flapping 与 EVPN 多归属分层排障
网络·git·学习·macos·github·spine
2601_963282773 小时前
油田、工矿厂区 DMR 专网对讲系统:部署实施、干扰治理与防爆终端选型实战
网络·架构
随风而飘1863 小时前
Keithley美国吉时利 2016-P 6.5位音频分析数字多用表
网络·人工智能·功能测试
聚铭网络4 小时前
【一周安全资讯】《网络数据安全风险评估办法》正式实施;隐私加密通讯平台Threema遭DDoS攻击,服务大面积瘫痪
网络·安全·ddos