【Linux文件管理】重定向&&内核级缓冲区&&用户级缓冲区

文章目录

文件管理

文件描述符表(files_struct)

上一期我们将文件描述符讲完了,这期来讲讲文件管理中的文件描述符表,在task_struct有一个指针是指向文件描述符表的。

我们进入进入文件描述符表:

可以看到当中有很多属性,虽然这些我们都不知道,但是有一个我么是知道的,就是红框框起来的,这个我们是知道的,这个是一个文件的指针数组,这个数组的下标就是文件描述符。

我们来画一个形象的结构。

文件描述符表的结构如图所示,我们将其余属性给屏蔽了,只留下一个指向文件的指针数组,这个file的指针数组,内存存储的是文件的属性,不仅是大小和路径还有很多属性。

有了文件描述符表,进程和文件就可以通过文件描述符表来管理了。

我们先简单写一段代码:

cpp 复制代码
#include<stdio.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<unistd.h>
#include<fcntl.h>
int main()
{
  //打开文件
  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);

  printf("fd:fileno:%d\n",fd);
  close(fd);
  return 0;
}

这段代码输出的是3,意思就是在数组中的位置就是3,为什么呢?

原因:因为当我们运行C语言程序的时候会自动启动三个流,分别是标准输出流,标准输入流,标准错误流。这三个流分别占了数组的0,1,2这三个位置,我们可以将这三个流的文件描述符打印一下。

通过这个示例我们可以画出下面的图:

前三个是运行程序的时候默认打开的三个流,假如我们任意关闭一个会出现什么状况呢,我们打开的新的文件会去占据腾出来的那个空位吗?

代码:

cpp 复制代码
#include<stdio.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<unistd.h>
#include<fcntl.h>
int main()
{
  close(0);
  //打开文件
  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);

  printf("fd:fileno:%d\n",fd);
  printf("stdin:fileno:%d\n",stdin->_fileno);
  printf("stdout:fileno:%d\n",stdout->_fileno);
  printf("stderr:fileno:%d\n",stderr->_fileno);
  close(fd);
  return 0;
}

我们提前将0对应的输入流给关掉了,可以可以看见结果,我们打开的新的文件去占据了以前的0的位置。

我们试试关闭输出流:

当我们关闭输出流的时候屏幕上是不会打印的,因为我们将输出流给关闭了,所以不会在屏幕上打印,又因为我们打开的文件占据了以前输出流数组下标对应的位置,所以不会打印在屏幕上,会打印在文件中,我们来查看一下:

可以看见文件中也没有,这里先不解释,这里其实存在一个用户级缓冲区,还没刷新到内核缓冲区当中,就将文件关闭了,所以这里不会写入到文件当中。

这里只需要强制刷新一下即可:

cpp 复制代码
#include<stdio.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<unistd.h>
#include<fcntl.h>
int main()
{
  close(1);
  //打开文件
  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);

  printf("fd:fileno:%d\n",fd);
  printf("stdin:fileno:%d\n",stdin->_fileno);
  printf("stdout:fileno:%d\n",stdout->_fileno);
  printf("stderr:fileno:%d\n",stderr->_fileno);
  fflush(stdout);
  close(fd);
  return 0;
}

这里可以看到刷新了一下之后就会打印在文件当中。
这里就引入一个概念:重定向

重定向

重定向概念

概念:操作系统中的一种机制,用于将程序的输入或输出流从默认位置(通常是终端)改变到其他位置(如文件或设备)。它通过操作文件描述符来实现,在 Linux 和 Unix 系统中非常常见。

用一张图来表示一下文件描述符:

简单来说这就是重定向,原本1是指向标准输出流的,但是将指向改变,将1指向新的文件,这就是重定向。

重定向函数:dup2

这是一个重定向函数,我们只看dup2,

dup2这个函数的作用就是将newfd关闭,然后将oldfd指向的file用newfd指向。

我们写一段简单的代码:

cpp 复制代码
#include<stdio.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<unistd.h>
#include<fcntl.h>
int main()
{
  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);
  int newfd = dup2(fd,1);//重定向
  if(newfd == -1) perror("dup2");
  printf("hello dup\n");
  return 0;
}

可以看见没有打印到屏幕上,而是写入到了文件中。

文件的内核级缓冲区和用户级缓冲区

内核级缓冲区

我们所用的write和read都不是直接写入到文件当中或者直接写入到外设当中。

在这中间还有一个内核级缓冲区,需要经过内核级缓冲区,最后写入到外设由外设自主决定,这里画一个简图来描述一下write的过程:

当我们调用write的时候,其实是将字符串拷贝到内核级缓冲区,然后由内核自主决定是否刷新到外设当中。

read的过程:

调用read的时候其实也是先从磁盘中读入到内核级缓冲区当中,最后拷贝到文件当中。

下面是Linux原码:

用户级缓冲区

用户级缓冲区:应用程序在用户空间中为存储和操作数据而分配的内存区域。与内核级缓冲区不同,用户级缓冲区完全由用户程序控制,内核不会直接干预这些缓冲区的管理。用户级缓冲区通常用于提高应用程序的性能,避免每次 I/O 操作时都直接与操作系统或外设进行交互,从而降低性能损耗。

回到之前的问题:

cpp 复制代码
#include<stdio.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<unistd.h>
#include<fcntl.h>
int main()
{
  close(1);
  //打开文件
  int fd = open("log.txt",O_WRONLY | O_CREAT | O_TRUNC,0666);

  printf("fd:fileno:%d\n",fd);
  printf("stdin:fileno:%d\n",stdin->_fileno);
  printf("stdout:fileno:%d\n",stdout->_fileno);
  printf("stderr:fileno:%d\n",stderr->_fileno);
  fflush(stdout);
  close(fd);
  return 0;
}

会什么这里没有fflush就不会刷新到文件当中呢?

这里如果没有close是会打印的,或者将close换乘fclose也会刷新到文件当中。原因是因为:如果我们直接close,printf所打印的内讧还在用户级缓冲区当中,还没有刷新到文件当中,原本应该打印到屏幕上,但是1关闭了,所以重定向到文件当中,但是屏幕的刷新方式是按行刷新,也就是按照\n刷新,但是这里重定向之后就是按照文件的刷新方式来进行,也就是全刷新,等文件满了才刷新,但是这里没满所以不会刷新,所以直接close时,还没有刷新到文件当中,但是如果不close,程序退出前会自动刷新。
为什么会存在用户级缓冲区呢?

用户级缓冲区的存在是为了优化程序的 I/O 性能,减少频繁的系统调用开销,同时提高系统的响应速度和效率。

从用户级缓冲区强制刷新到内核级缓冲区叫fflush,从内核级缓冲区强制刷新到外设当中叫fsync
fsync:

总结

通过本文对文件管理及其内核级与用户级缓冲区的详细探讨,我们对操作系统中文件管理的机制有了更深刻的理解。首先,我们了解了 files_struct 的作用及其如何在内核中管理文件描述符的详细实现,掌握了文件的重定向以及文件描述符的相关操作。其次,通过对内核级缓冲区与用户级缓冲区的对比分析,我们认识到这两者在性能优化和内存管理中的关键作用,特别是在提升 I/O 性能和减少系统调用开销方面的重要性。

文件管理作为操作系统中非常核心的部分,不仅直接影响着系统资源的利用效率,也对程序的执行性能和稳定性起着至关重要的作用。通过合理管理内核级缓冲区和用户级缓冲区,操作系统能够有效地平衡性能和资源消耗,在确保数据准确性的同时提升系统的响应速度和吞吐量。

总之,深入理解操作系统中的文件管理机制,能够帮助我们更好地设计和优化应用程序,提升系统的整体效率。未来,随着操作系统的不断发展和优化,文件管理机制将会面临更多新的挑战和机遇,我们也将继续探索和学习,以应对新的技术发展。

相关推荐
最强小杰8 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
谙弆悕博士10 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
戊本菌10 小时前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx11 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
张小姐的猫12 小时前
【基于 WebSocket 的多用户网页五子棋】—— 整合封装服务器模块设计实现2️⃣
服务器·websocket·网络协议
江无行者12 小时前
Linux 服务器 top 命令详解
linux
HMS工业网络12 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕14 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
嵌入式 Linux手记14 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式
星恒随风14 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql