【Linux】语言层面缓冲区的刷新问题以及简易模拟实现

文章目录


前言

我们接下来要谈论的是我们语言层面的缓冲区(C,C++之类的),不是我们操作系统内核里面自带的缓冲区,我们每次在打开一个文件的时候,以C语言为例子,C语言会为我们所打开的这个文件分配一块缓冲区,用来缓存我们读写的数据`,这个缓冲区会被放在我们创建的FILE的结构体里面,里面存放着缓冲区的字段和维护信息

一、缓冲区刷新方法分类

a.无缓冲--直接刷新

b.行缓冲--不刷新,直到碰到\n才刷新

显示器写入一般采用的是行缓冲

c.全缓冲--缓冲区满了才刷新

文件写入一般采用的是全缓冲,缓冲区满了或者程序结束的时候刷新

二、 缓冲区的常见刷新问题

1.问题

我们将可执行文件内容重定向到log1里面

最后我们发现与C有关的接口被打印了两次,这是什么原因呢?

之前我们说过,我们朝文件里面写入是全缓冲,也就是等缓冲区满了或者程序结束的时候去刷新,打印两次的都是属于C语言的接口, 其会建立一个语言层面的缓冲区, 我们在fork之前,printf,fprintf,fwrite写入的数据都存放在语言层面的缓冲区,fork之后创建子进程,子进程对父进程的数据内容进行拷贝,因为此时缓冲区为刷新,子进程会连同父进程语言层面缓冲区内容一起拷贝

所以之后,父子进程语言层面的缓冲区中都存放着相同的数据,在程序结束的时候会对语言层面的缓冲区进行刷新,将其刷新到系统里面的缓冲区,
若子进程先刷新,因为对父进程数据进行更改了(即清空语言缓冲区),这个时候会发生写实拷贝,之后子进程缓冲区的数据就被刷新到系统缓冲区了。

父进程同理,也会进行一遍缓冲区的刷新,父子进程都对数据进行了刷新写入系统缓冲区,所以文件里面就会写入两次。
wirite属于系统接口,调用以后会直接写入到内核缓冲区里面,之后写入硬盘文件中,没有语言层面缓冲区概念,所以只写入文件一次

2.刷新本质

用户刷新的本质是通关重定向到文件描述符为1的文件(stdout)+write写入内核缓冲区,FILE对象属于用户不是操作系统,FILE里面的缓冲区属于语言层面的缓冲区(用户级缓冲区),目前我们认为,只要数据刷新到了内核中,数据就可以写入硬件了

这些C接口最后写入内核缓冲区,本质都是调用write的系统接口

三、模拟实现

1.Mystdio.h

cpp 复制代码
#include <string.h>

#define SIZE 1024

#define FLUSH_NOW 1//无缓冲
#define FLUSH_LINE 2//行缓冲
#define FLUSH_ALL 4//全缓冲

typedef struct IO_FILE{
    int fileno;//文件描述符
    int flag; //刷新方式
    
    char outbuffer[SIZE]; // 简单模拟语言层缓冲区
    int out_pos;//缓冲区当前大小
}_FILE;

_FILE * _fopen(const char*filename, const char *flag);
int _fwrite(_FILE *fp, const char *s, int len);
void _fclose(_FILE *fp);

2.Mystdio.c

cpp 复制代码
#include "Mystdio.h"
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>
#include <unistd.h>
#include <assert.h>

#define FILE_MODE 0666//文件默认权限

 
_FILE * _fopen(const char*filename, const char *flag)
{
    assert(filename);
    assert(flag);

    int f = 0;//文件的写入方式
    int fd = -1;//文件描述符
    if(strcmp(flag, "w") == 0) {
        f = (O_CREAT|O_WRONLY|O_TRUNC);
        fd = open(filename, f, FILE_MODE);
        //获取文件描述符
    }
    else if(strcmp(flag, "a") == 0) {
        f = (O_CREAT|O_WRONLY|O_APPEND);
        fd = open(filename, f, FILE_MODE);
    }
    else if(strcmp(flag, "r") == 0) {
        f = O_RDONLY;
        fd = open(filename, f);
    }
    else 
        return NULL;

    if(fd == -1) return NULL;

    _FILE *fp = (_FILE*)malloc(sizeof(_FILE));
    //创建文件指针结构体
    if(fp == NULL) return NULL;

    fp->fileno = fd;
    //fp->flag = FLUSH_LINE;
    fp->flag = FLUSH_ALL;
    fp->out_pos = 0;

    return fp;
}

 
int _fwrite(_FILE *fp, const char *s, int len)
{
    // "abcd\n"
    memcpy(&fp->outbuffer[fp->out_pos], s, len); // 没有做异常处理, 也不考虑局部问题
    fp->out_pos += len;

    if(fp->flag&FLUSH_NOW)//无缓冲
    {
        write(fp->fileno, fp->outbuffer, fp->out_pos);
        fp->out_pos = 0;
    }
    else if(fp->flag&FLUSH_LINE)//行缓冲
    {
        if(fp->outbuffer[fp->out_pos-1] == '\n'){ // 不考虑其他情况
            write(fp->fileno, fp->outbuffer, fp->out_pos);
            fp->out_pos = 0;
        }
    }
    else if(fp->flag & FLUSH_ALL)//全缓冲
    {
        if(fp->out_pos == SIZE){
            write(fp->fileno, fp->outbuffer, fp->out_pos);
            fp->out_pos = 0;
        }
    }

    return len;
}

void _fflush(_FILE *fp)//手动刷新缓冲区
{
    if(fp->out_pos > 0){
        write(fp->fileno, fp->outbuffer, fp->out_pos);
        fp->out_pos = 0;
    }
}

void _fclose(_FILE *fp)
{
    if(fp == NULL) return;
    _fflush(fp);
    close(fp->fileno);
    free(fp);
}

3.main.c

cpp 复制代码
#include "Mystdio.h"
#include <unistd.h>

#define myfile "test.txt"

int main()
{
    _FILE *fp = _fopen(myfile, "a");
    if(fp == NULL) return 1;

    const char *msg = "hello world\n";
    int cnt = 10;
    while(cnt){
        _fwrite(fp, msg, strlen(msg));
        // fflush(fp);
        sleep(1);
        cnt--;
    }

    _fclose(fp);

    return 0;
}
相关推荐
浪裡遊30 分钟前
Linux常用指令
linux·运维·服务器·chrome·功能测试
西瓜本瓜@30 分钟前
在Android中如何使用Protobuf上传协议
android·java·开发语言·git·学习·android-studio
言之。31 分钟前
别学了,打会王者吧
java·python·mysql·容器·spark·php·html5
机智的人猿泰山31 分钟前
java kafka
java·开发语言·kafka
SugarPPig1 小时前
PowerShell 查询及刷新环境变量
服务器
Algorithm15761 小时前
谈谈接口和抽象类有什么区别?
java·开发语言
细心的莽夫2 小时前
SpringCloud 微服务复习笔记
java·spring boot·笔记·后端·spring·spring cloud·微服务
段ヤシ.2 小时前
银河麒麟(内核CentOS8)安装rbenv、ruby2.6.5和rails5.2.6
linux·centos·银河麒麟·rbenv·ruby2.6.5·rails 5.2.6
264玫瑰资源库3 小时前
问道数码兽 怀旧剧情回合手游源码搭建教程(反查重优化版)
java·开发语言·前端·游戏
pwzs3 小时前
Java 中 String 转 Integer 的方法与底层原理详解
java·后端·基础