【HBZ】高性能zeroCopy零拷贝与普通IO差距与原理

简介

随着IO不断地发展，无论哪种拷贝方式，DMA从磁盘拷贝数据到内核缓冲区，都会拷贝多一些数据, 不会只拷贝用户态的指定size的数据，而是会将目标数据的临近数据也都拷贝到内核缓冲区，以便下次IO操作可以直接从内核缓冲区获取，无需再次走磁盘

普通IO的拷贝流程

普通的IO拷贝，要经历4次CPU上下文切换与 4次拷贝操作
内核缓冲区拷贝数据到用户缓冲区是用户态指令是多少size，就拷贝多少size回去
每次拷贝的数据都恰好是需要的数据，因此每次需要查询数据时，都要走一遍整个过程，所以性能非常慢

普通IO-Buffered的拷贝流程

buffered方式为什么比普通IO更快？
答：buffered在内核缓冲区拷贝到用户缓冲区的时候，会将目标数据及目标临近的数据一同拷贝到用户缓冲区，这样下一次如果查询数据命中临近的数据，就不会在走内核态，所以会更快一些

零拷贝-mmap流程

mmap方式的零拷贝会经历(4次上下问切换与 3次拷贝)
由图可见，内核缓冲区不会拷贝数据到用户缓冲区，而且用户与内核缓冲区共同指向一块虚拟内存地址，而数据会保存在虚拟内存所对应的物理内存地址中。并且用户态向socket缓冲区发起指令也不需要携带数据拷贝，而真正的数据拷贝是socket缓冲区直接从内核缓冲区中拷贝数据，所以减少了两次拷贝，在内核缓冲区与socket缓冲区又追加了一层拷贝，总体少了一次拷贝

零拷贝-sendfile流程

sendfile()方式的零拷贝经历(2次切换，2次拷贝)
注意: 第三步拷贝偏移量本质也是拷贝，但拷贝的是内存偏移量，数据量极小，所以忽略不计
注意2：sendfiel()这种方式仅适用于本地相互拷贝，不适用于网络IO
socket缓冲区获取数据，是从一块物理内存中直接获取，而这块物理内存是【内核缓冲区】和【socket缓冲区】共同映射的地址，因此数据是通过内存地址直接获取，而并非拷贝一份，所以只有2次拷贝

java代码实现4中拷贝

import java.io.*;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

// 
普通IO
    @Test
    public void publicIo() throws FileNotFoundException {

        try (InputStream inputStream = new FileInputStream("D:\\zeroCopyTest\\zeroCopyFile.zip");
             OutputStream outputStream = new FileOutputStream("D:\\zeroCopyTest\\zeroCopyOutstream.zip");){

            byte[] bytes = new byte[1024];
            int  len;

            long start = System.currentTimeMillis();
            while ((len = inputStream.read(bytes)) != -1){
                outputStream.write(bytes,0,len);
            }
            long end = System.currentTimeMillis();

            System.out.println("耗费时间: " + (end - start));

        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

import java.io.*;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

// 
普通io-buffered
    @Test
    public void bufferIo() throws FileNotFoundException {

        try (BufferedInputStream inputStream = new BufferedInputStream(new FileInputStream("D:\\zeroCopyTest\\zeroCopyFile.zip")) ;
             BufferedOutputStream outputStream = new BufferedOutputStream(new FileOutputStream("D:\\zeroCopyTest\\zeroCopyOutstream.zip"));){

            byte[] bytes = new byte[1024];
            int  len;

            long start = System.currentTimeMillis();
            while ((len = inputStream.read(bytes)) != -1){
                outputStream.write(bytes,0,len);
            }
            long end = System.currentTimeMillis();

            System.out.println("耗费时间: " + (end - start));

        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

import java.io.*;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

// 零拷贝-mmap
    @Test
    public void mmapCopyFile(){

        long start = System.currentTimeMillis();
        try(
                FileChannel inputChannel = new FileInputStream("D:\\zeroCopyTest\\zeroCopyFile.zip").getChannel();
                FileChannel outputChannel = new RandomAccessFile("D:\\zeroCopyTest\\zeroCopyOutstream.zip","rw").getChannel();
        ){
            long size = inputChannel.size();

            MappedByteBuffer mapInBuffer = inputChannel.map(FileChannel.MapMode.READ_ONLY, 0, size);
            MappedByteBuffer mapOutBuffer = outputChannel.map(FileChannel.MapMode.READ_WRITE, 0, size);

            byte[] buffer = new byte[1024]; // 设置数组大小为1024
            int len;

            while ((len = inputChannel.read(ByteBuffer.wrap(buffer))) != -1) {
                byte b = mapInBuffer.get(len);
                mapOutBuffer.put(b);
            }
            long end = System.currentTimeMillis();
            System.out.println("耗费时间: " + (end - start));

        }catch (Exception e){
            throw new RuntimeException(e);
        }

    }

import java.io.*;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

// 零拷贝-sendfile()
 @Test
    public void sendfileCopyFile(){
        long start = System.currentTimeMillis();
        try(
                FileChannel inputChannel = new FileInputStream("D:\\zeroCopyTest\\zeroCopyFile.zip").getChannel();
                FileChannel outputChannel = new FileOutputStream("D:\\zeroCopyTest\\zeroCopyOutstream.zip").getChannel();
        ){

            // 方式1： 针对小于2GB文件
            // 实际拷贝的大小(只会拷贝2GB， inputChannel.size() = 3GB， 那realSize也就 = 2GB)
            //  参数1： 从哪里开始拷贝， 参数2： 拷贝多少个字节, 参数3： 拷贝到哪里去
//            long realSize = inputChannel.transferTo(0, inputChannel.size(), outputChannel);


            // 方式2： 针对大于2GB文件, 分多次读写
            // 获取文件总大小
            long size = inputChannel.size();
            for(long left = size; left > 0;){

                // 返回真实拷贝的大小
                // 这里position起始拷贝位置，改为size-left(即总大小 - 剩余大小的位置)， 参数2： left就是拷贝多少大小
                long transferSize = inputChannel.transferTo(size - left, left, outputChannel);
                // 计算出还剩余的大小
                left -= transferSize;

            }
            long end = System.currentTimeMillis();
            System.out.println("耗费时间: " + (end - start));

        }catch (Exception e){
            throw new RuntimeException(e);
        }

    }