Linux的基础IO:文件描述符 && 重定向本质

目录

前言

文件操作的系统调用接口

open函数

close函数

write函数

read函数

注意事项

文件描述符-fd

小补充

重定向

文件描述符的分配原则

系统调用接口-dup2

缓冲区

缓冲区的刷新策略

对于"2"的理解

小补充


前言

在Linux中一切皆文件,打开文件的本质是进程打开了文件,文件没有被打开时一直存放在磁盘中(进程执行时才会打开文件,文件才会从磁盘中拿出)*,而OS中存在很多进程,即系统中一定存在大量被进程打开的文件,对此OS会采取"先描述再组织"的原则,每个被打开的文件在OS内部都有一个类似PCB的描述文件属性的结构体。*

文件 = 属性 + 内容

以w方式打开文件:

  • 文件不存在,则在当前路径下新建指定文件并写入
  • 文件存在,打开文件时会将该文件清空并写入

以a方式打开文件:

  • 文件不存在,则在当前路径下新建指定文件并写入
  • 文件存在,追加写入

>和>>:

  • > 文件 等同于 w 一个文件
  • >> 文件 等同于 a 一个文件

结论:输出重定向一定是文件操作

文件操作的系统调用接口

基本概念:文件在进程未执行时一直放在磁盘中,磁盘是硬件,向文件中写入本质就是向硬件中写入,但是用户没有权利直接向硬件中写入,需要由OS提供访问硬件的系统调用接口,而C/C++等编程语言中提供的对文件的操作接口就是对系统调用的接口的封装

open函数

函数原型:

  • int open(const char *pathname, int flags);
  • int open(const char *pathname, int flags, mode_t mode);

包含头文件:

  • <sys/types.h>
  • <sys/stat.h>
  • <fcntl.h>

参数:

  • const char *pathname:要打开的文件绝对或相对路径
  • flags:位掩码,指定了打开方式和访问权限等信息
  • mode:指定新建文档的权限设置

flags的常见取值:

  • O_RDONLY:以只读模式打开
  • O_WRONLY:以只写模式打开
  • O_RDWR:以读写模式打开
  • O_CREAT:如若目标文档不存在则创建
  • O_TRUNC:如若目标文档存在则清空
  • O_APPEND:追加写入

返回值:操作文件成功时返回int类型的文件描述符,失败时返回 -1

功能:打开文件的系统调用函数

close函数

函数原型:int close(int fd);

包含头文件: <unistd.h>

参数:要关闭的目标文件描述符或套接字

返回值:关闭成功时返回 0,失败时返回 -1

功能:关闭指定文件描述符或套接字,并释放与之相关联的资源

write函数

函数原型:ssize_t write(int fd, const void *buf, size_t count);

包含头文件: <unistd.h>

参数:待写入的目标文件描述符或套接字,待写入数据的缓冲区指针,待写入的字节数

返回值:写文件成功时返回实际写入到目标文件中的字节数,失败时返回 -1

功能:将buf指向的内容写入到目标文件描述符或套接字所对应对象中

read函数

函数原型:ssize_t write(int fd, const void *buf, size_t count);

包含头文件: <unistd.h>

参数:待写入的目标文件描述符或套接字,待写入数据的缓冲区指针,待写入的字节数

返回值:写文件成功时返回实际写入到目标文件中的字节数,失败时返回 -1

功能:将buf指向的内容写入到目标文件描述符或套接字所对应对象中
stat、fastat、lasta是三个修改文件属性的调用接口,上面的read、write等是对文件内容修改的调用接口

注意事项

1、文件的权限掩码的采用就近原则,默认为0002,uamsk(0)设置为0后就为0

2、O_RDONLY等位掩码都是类似于下列形式的宏定义***(了解)***

3、位掩码不同的组合有不同的效果

  • O_WRONLY | O_CREAT | O_TRUNC:实现fopen函数w打开文件时的效果
  • O_WRONLY | O_CREAT | O_APPEND:实现fopen函数a打开文件时的效果
  • O_WRONLY | O_CREAT:实现fopen函数wa打开文件时的效果

文件描述符-fd

问题一:open函数的返回值是文件描述符,我们创建四个文件并打印它们的文件描述符发现它们分别是3、4、5、6,怎么没有见0、1、2?

原因:C语言在运行时会默认打开三个流,而0、1、2就分别是标准输入流stdin(键盘)、标准输出流stdout(显示器)、标准错误流stderr(显示器)**
问题二:为什么可以向1中写?fd的本质是什么

结论:文件描述符的本质是内核的进程的文件映射关系数组的下标

小补充

程序的本质确实是对数据进行处理,并且这些处理过程和结果需要与人类用户进行交互。在Unix/Linux系统中,0、1、2三个文件描述符分别代表标准输入、标准输出和标准错误输出。它们被默认打开并与终端设备关联,以便程序可以通过它们与用户进行交互
问题三:read和write函数如何进行读写文件?

解释:read时将文件存放在内核级缓存中的数据拷贝至上层,如果内核级缓存中没有文件的数据,就将要read的进程挂在磁盘的等待队列中,等待磁盘将相应的文件的数据放入内核级缓存后再唤醒该进程并进行拷贝,write时也是针对文件内核级缓冲区中的数据进行修改,修改后再刷新至磁盘中,因而无论读写 都要在合适的时候,让OS将文件的数据读取到文件内核级缓冲区中,读写的对象都是文件内核级缓冲区中的数据,而不是磁盘级的文件数据
问题四:open函数在干什么?

解释:

  1. 创建文件
  2. 开辟内核级文件缓冲区的空间,加载文件数据***(有延后性)***
  3. 查看进程的文件描述符表***(struct file_struct)***
  4. 获取 文件地址,并填入文件描述符表中
  5. 返回该文件在文件描述符表中的下标
    问题五:为什么0、1、2在程序启动时默认打开?它们对应不应该是硬件吗?

补充: 硬件设备也有的struct_file,但是它们的struct_file中除了有硬件设备相关的属性外,还都包含一张指向底层操作方法(对硬件设备的操作接口)的函数指针表(每张表都一样),该表中的函数指针指向的是由硬件生产厂商的开发人员在驱动层已经写好的硬件调用接口,并且一个函数指针可以指向多个不同的硬件操作接口从而产生不同的结果(多态,write函数指针可以指向键盘、鼠标等硬件的write接口,这一功能由厂商实现的)**

解释:因为在进程执行时就会将三个硬件的struct_file的地址信息放入进程struct files_struct中,数组下标0、1、2就是它们的文件标识符,而它们的struct_file中又有指向底层操作方法的函数指针,在进程尝试使用硬件设备时会通过它们的文件标识符访问到它们的struct_file进而访问到驱动层的k_read()等硬件设备操作接口

注意事项:普通文件类型的 struct file 中并不包含指向底层设备接口的函数指针表
struct_file中的文件属性就是类中的数据,操作底层方法的指针表中的函数指针就是类中的方法,所以struct_file也可以视为C语言实现的类,多个struct_file构成了OS中的virtual file system
问题六:如何理解C语言通过FILE* 访问文件?

解释:FILE是一个由文件描述符等内容封装成的结构体,C语言中所有文件操作函数,都是对系统调用接口的封装,fopen函数是对调用接口open的封装,该函数隐式返回了文件描述符给FILE结构体,而fwrite、fread等又是对write、read调用接口的封装,fwrite等可以通过FILE中的fd访问文件

好文章:文件操作的底层原理(文件描述符与缓冲区) - 知乎 (zhihu.com)

重定向

文件描述符的分配原则

基本概念:查自己的文件描述表,分配最小的没有被使用的fd

尝试为一个普通文件分配fd = 1,并调用printf和fprintf函数向显示器上打印内容:

现象: 本来应该打印到显示器上的内容,却打印到了一个指定的文件中,这种技术叫重定向

结论:重定向的本质就是在内核中改变文件描述符表特定下标的内容,与上层无关,重定向也可以视为对open和dup2接口的封装:

cpp 复制代码
int fd = open("output.txt", O_WRONLY | O_CREAT | O_TRUNC, 0644);
dup2(fd, STDOUT_FILENO); //原 > 目标

如果想要实现追加重定向>>,那么就只需更改open函数的参数:

cpp 复制代码
int fd = open("output.txt", O_WRONLY | O_CREAT | O_APPEND, 0644);
dup2(fd, STDOUT_FILENO); //原 > 目标

接着尝试注释fflush,注释fflush和close、注释close:

解释:stdin、stdout、stderr的struct_file中除了有_fileno还有语言级别的文件缓冲区,printf和fprintf函数会先将要打印的内容放入stdoutd的struct_file中的文件缓冲区中,由fflush(stdout)指令将该缓冲区中的数据刷新至log.txt的内核文件缓冲区中(因为此时fd = 1指向的是log.txt)*,最后由OS定期将log.txt内核级文件缓冲区中的数据刷新至磁盘中:注释fflush* 就会导致stdout的struct_file中的文件缓冲区数据无法刷新至内核级的文件缓冲区并且文件描述符还被关闭了即使在最后操作系统想要帮助刷新也不可能了(如果你没有显式地刷新 stdout 缓存或关闭该进程所占据的资源,则操作系统可能会自动地执行这些操作以确保程序正常结束并释放相关资源,跟\n没关系,即使你这里将\n去除也不会刷新缓冲区只有stdout** 与显示器关联时才能刷新,\n在这里只有换行作用,本质是行刷新和全缓冲刷新的不同,刷新策略中有解释)

结论:fflush(stdout)是为了将stdout的语言级文件缓冲区中的内容刷新至内核级文件缓冲区中

系统调用接口-dup2

函数原型:int dup2(int oldfd,int newfd);

包含头文件:<unistd.h>

参数:源文件描述符,目标文件描述符

返回值:成功返回目标文件描述符,失败返回-1

功能:使得目标文件描述符共享源文件描述符所对应的 数据

缓冲区

基本概念:缓冲区分为用户级(语言级)缓冲区和内核级缓冲区,是一段内存空间

**优点:**缓冲区的分级有利于解耦、提高使用者的效率、提高刷新IO效率

问题:为什么C语言可以通过调用接口直接向内核级缓冲区写数据,还要提供对调用接口重新封装后的接口并先将数据写到语言级缓冲区呢?

解释:调用系统接口是有成本的,多次频繁的使用write等系统调用接口向内核级缓冲区中写一些很少的数据会造成资源浪费,而使用了封装后的fwrite接口就可以先将这些内容放入语言级缓冲区中,放入之后就可以结束fwrite进行下一步操作等语言级的缓冲区中的数据达到一定程度时仅调用一次系统调用接口,就可以将多次写入的少量数据一次性的放入内核级缓冲区中并且写入后向磁盘刷新的操作也有OS自行完成不需要用户管,这样就即提高了使用者的效率(把快递交给快递员而不是亲自去送,交给后就不用管了可以去干其它内容),又提高了刷新IO的效率(将一段时间内的所有接收到的快递装车一块去配送,而不是接受一件配送一件,并且应该由专门的快递配送员配送,相比于寄件人他们知道配送的流程,寄件人了乐于有人帮自己干活)**

缓冲区的刷新策略

对于用户 / 内核级的缓冲区都适用,但是这里我们只关心用户级的

立即刷新(近似于无缓冲)

1、用户级接口:fflush(stdout)强制刷新用户级的缓冲区至内核级缓冲区

2、内核级接口:int fsync(int fd)强制刷新内核级的缓冲区至磁盘
行刷新

显示器的行刷新是为了便于用户观看数据
全缓冲

缓冲区写满才刷新,一般是普通文件***(此时\n只起到换行作用)***
特殊情况

1、进程退出,系统会自动刷新

2、强制刷新

注意事项:

1、不同平台的刷新策略不同

2、子进程不会继承父进程在用户级缓冲区中刷新过的内容

关于完善shell中重定向的内容在22的2:30处,一小时左右

对于"2"的理解

基本概念:1和2中的内容都是显示器文件的struct file

问题一:为什么要有2?

解释:分离程序中出现的正确和错误的消息,正确的信息向1中打,错误的信息向2中打,再通过重定向建立存放正确和错误信息的两个文件


问题二:>是标准输出重定向,只会更改1号fd中的内容,如何将2和1定向至同一文件中?

解释:. / a.out 1>all.log 2>&1,先将1获取到的正确内容放入all.log文件中,然后将2获取到的错误的内容放入1放入的文件中(由取地址&实现)**

小补充

perror函数本质上是向2中打印,printf本质上是向1中打印的:

~over~

相关推荐
摸鱼也很难1 小时前
Docker 镜像加速和配置的分享 && 云服务器搭建beef-xss
运维·docker·容器
watermelonoops1 小时前
Deepin和Windows传文件(Xftp,WinSCP)
linux·ssh·deepin·winscp·xftp
woshilys2 小时前
sql server 查询对象的修改时间
运维·数据库·sqlserver
疯狂飙车的蜗牛2 小时前
从零玩转CanMV-K230(4)-小核Linux驱动开发参考
linux·运维·驱动开发
恩爸编程3 小时前
探索 Nginx:Web 世界的幕后英雄
运维·nginx·nginx反向代理·nginx是什么·nginx静态资源服务器·nginx服务器·nginx解决哪些问题
Michaelwubo4 小时前
Docker dockerfile镜像编码 centos7
运维·docker·容器
远游客07134 小时前
centos stream 8下载安装遇到的坑
linux·服务器·centos
马甲是掉不了一点的<.<4 小时前
本地电脑使用命令行上传文件至远程服务器
linux·scp·cmd·远程文件上传
jingyu飞鸟4 小时前
centos-stream9系统安装docker
linux·docker·centos
好像是个likun5 小时前
使用docker拉取镜像很慢或者总是超时的问题
运维·docker·容器