Hadoop的序列化

（一） 什么是序列化 与反序列化

序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。

反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。

（二） 为什么要序列化

一般来说，"活的"对象只生存在内存里，关机断电就没有了。而且"活的"对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。通过序列化可以存储"活的"对象，可以将"活的"对象发送到远程计算机。

（三） Java 自带的 序列化

下面我们来看一个例子：通过代码来定义一个类，并创建它的一个对象，把这个对象保存到文件中（序列化），然后再写代码读取这个文件并还原回来。

java中的序列化需要在定义类的时候实现实现 java.io.Serializable 接口。在序列化时，使用ObjectOutputStream的writeObject方法把类写入某个文件。在反序列化时，使用ObjectInputStream的readObjec方法来还原这个类。

Scala 复制代码

public class Student {
    public Student(String name,int age) {
        this.name = name;
        this.age = age;
    }
    String name;
    int age;
}

（四） 为什么 hadoop 不用Java的序列化 ？

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Header，继承体系等），不便于在网络中高效传输。所以，Hadoop自己开发了一套序列化机制（Writable）。

Hadoop序列化特点：

（1）紧凑：高效使用存储空间。

（2）快速：读写数据的额外开销小。

（3）互操作：支持多语言的交互。

（五） hadoop的序列化

如果一个类支持hadoop的序列化，那么它应该要实现Writable接口，并提供一个空参构造器。

Writable接口需要我们去实现两个方法：write和readFields。

先来看write方法。序列化的时候，它会自动被调用，将一个内存中的对象，序列化成为一个字节序列。它的入参DataOutput是一个输出流。需要在这个方法中对需要序列化的属性依次进行序列化。如果序列化的属性不是Hadoop的序列化类型，就要调用相应的方法把它进行序列化。例如：out.writeUTF(name)，out.writeInt(age)。如果本身就是序列化的属性，就调用这个属性的write方法，写入输出流
学生类：Stduent类

Scala 复制代码

public class Student implements Writable{
 public Student(String name,int age) {
        this.name = name;
        this.age = age;
    }
    public Student() { }
    public String name;
    public int age;
    @Override
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(name);
        dataOutput.writeInt(age);
    }
    @Override
    public void readFields(DataInput dataInput) throws IOException {
        name = dataInput.readUTF();
        age = dataInput.readInt();
    }

}

测试类：TestStudent

Scala 复制代码

package com.example.serial;

import java.io.*;

public class TestStudent {
    public static void main(String[] args) throws IOException, ClassNotFoundException {
        Student student = new Student("小花", 18);

        // hadoop序列化
        DataOutputStream dos = new DataOutputStream(new FileOutputStream("Student_hadoop.txt"));
        student.write(dos);

        // hadoop 反序列化
        DataInputStream dis = new DataInputStream(new FileInputStream("Student_hadoop.txt"));
        Student student1 = new Student();
        student1.readFields(dis);
        System.out.println(student1.name+ " "+student1.age);
    }
}