Hadoop的序列化

什么是序列化 与反序列化

序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。

反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。

为什么要序列化

一般来说,"活的"对象只生存在内存里,关机断电就没有了。而且"活的"对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 通过序列化可以存储"活的"对象,可以将"活的"对象发送到远程计算机。

Java 自带的 序列化

下面我们来看一个例子:通过代码来定义一个类,并创建它的一个对象,把这个对象保存到文件中(序列化),然后再写代码读取这个文件并还原回来。

java中的序列化需要在定义类的时候实现实现 java.io.Serializable 接口。在序列化时,使用ObjectOutputStream的writeObject方法把类写入某个文件。在反序列化时,使用ObjectInputStream的readObjec方法来还原这个类。

Scala 复制代码
public class Student {
    public Student(String name,int age) {
        this.name = name;
        this.age = age;
    }
    String name;
    int age;
}

(四) 为什么 hadoop 不用Java的序列化

Java的序列化是一个重量 级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,Header,继承体系等),不便于在网络中高效传输。所以,Hadoop自己开发了一套序列化机制(Writable)。

Hadoop序列化特点:

(1)紧凑 :高效使用存储空间。

(2)快速:读写数据的额外开销小。

(3)互操作:支持多语言的交互。

hadoop的序列化

如果一个类支持hadoop的序列化,那么它应该要实现Writable接口,并提供一个空参构造器。

Writable接口需要我们去实现两个方法:write和readFields。

先来看write方法。序列化的时候,它会自动被调用,将一个内存中的对象,序列化成为一个字节序列。它的入参DataOutput是一个输出流。需要在这个方法中对需要序列化的属性依次进行序列化。如果序列化的属性不是Hadoop的序列化类型,就要调用相应的方法把它进行序列化。例如:out.writeUTF(name),out.writeInt(age)。如果本身就是序列化的属性,就调用这个属性的write方法,写入输出流
学生类:Stduent类

Scala 复制代码
public class Student implements Writable{
 public Student(String name,int age) {
        this.name = name;
        this.age = age;
    }
    public Student() { }
    public String name;
    public int age;
    @Override
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(name);
        dataOutput.writeInt(age);
    }
    @Override
    public void readFields(DataInput dataInput) throws IOException {
        name = dataInput.readUTF();
        age = dataInput.readInt();
    }

}

测试类:TestStudent

Scala 复制代码
package com.example.serial;

import java.io.*;

public class TestStudent {
    public static void main(String[] args) throws IOException, ClassNotFoundException {
        Student student = new Student("小花", 18);

        // hadoop序列化
        DataOutputStream dos = new DataOutputStream(new FileOutputStream("Student_hadoop.txt"));
        student.write(dos);

        // hadoop 反序列化
        DataInputStream dis = new DataInputStream(new FileInputStream("Student_hadoop.txt"));
        Student student1 = new Student();
        student1.readFields(dis);
        System.out.println(student1.name+ " "+student1.age);
    }
}
相关推荐
G皮T5 分钟前
【Elasticsearch】检索高亮
大数据·elasticsearch·搜索引擎·全文检索·kibana·检索·高亮
沉着的码农3 小时前
【设计模式】基于责任链模式的参数校验
java·spring boot·分布式
zskj_zhyl5 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
哲科软件5 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc7875 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者5 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
一瓣橙子6 小时前
缺少关键的 MapReduce 框架文件
大数据·mapreduce
永洪科技14 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
weixin_3077791314 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
ZHOU_WUYI15 小时前
一个简单的分布式追踪系统
分布式