Java的序列化

写在前面

本文看下序列化和反序列化相关的内容。

源码

1:为什么,什么是序列化和反序列化

Java对象是在jvm的堆中的,而堆其实就是一块内存,如果jvm重启数据将会丢失,当我们希望jvm重启也不要丢失某些对象,或者是需要将某些对象传递到其他服务器(rpc有没有!!!)时就需要使用到序列化和反序列化,因为序列化就是将Java对象转换为文件,而反序列化就是加载文件并生成对象在堆中。

2:Java的序列化和反序列化

Java想要序列化和反序列化,必须实现java.io.Serializable接口,并给变量serialVersionUID赋值,该值用来标识Java类文件的版本。如下序列化和反序列化的例子:

@SneakyThrows
private static void javaDeserialize() {
    ObjectInputStream objectInputStream = new ObjectInputStream(new FileInputStream("d:\\test\\xxx.obj"));
    Student student = (Student) objectInputStream.readObject();
    System.out.println("java反序列化student完成");
    System.out.println(student);
}

@SneakyThrows
private static void javaSerialize() throws IOException {
    Student student = new Student();
    student.setName("张三");
    student.setAge(99);
    ObjectOutputStream objectOutputStream = new ObjectOutputStream(new FileOutputStream("d:\\test\\xxx.obj"));
    // 如果没有实现java.io.Serializable接口将会抛出异常java.io.NotSerializableException
    objectOutputStream.writeObject(student);
    objectOutputStream.close();
    System.out.println("java序列化student完成");
}

java序列化的问题:

1:无法跨平台
    如Java对象序列化的结果反序列化为python的对象,这样就限制了其不适合某些使用场景,如rpc的场景中就无法使用这种序列化方式,因为rpc需要支持异构的系统
2:序列化的文件大
    这样占用磁盘大,网络传输速度慢,占用带宽,反序列化的速度也慢,这样就限制了其不适合某些使用场景,如rpc,rpc需要尽量快的序列化和反序列化速度,以提高性能
3:序列化的速度慢
    还是因为其序列化结果的内容多

以上的问题我们可以使用专门的序列化框架来解决,如hessian。

3:hessian的序列化和反序列化

dubbo 默认使用的是该序列化方式,将来可能会优化成性能更优的序列化方式如kryo,fst等。

hessian支持语言无关的序列化和反序列化,并且速度更快,序列化的结果更小,如下:

private void hessianSerialize() {
    Student stu = new Student("hessian",1);
    byte[] obj = serialize(stu);
    System.out.println("hessian serialize result length = "+obj.length);
    byte[] obj2 = serialize2(stu);
    System.out.println("hessian2 serialize result length = "+obj2.length);
    byte[] other = jdkSerialize(stu);
    System.out.println("jdk serialize result length = "+other.length);
    Student student = deserialize2(obj2);
    System.out.println("deserialize result entity is "+student);
}

具体看文章头源码。

运行结果如下:

hessian serialize result length = 65
hessian2 serialize result length = 59
jdk serialize result length = 101
deserialize result entity is Student(name=hessian, age=1)

可以看到结果的大小jdk序列化<hessian序列化<hessian2序列化,所以如果工作中有这种需求,建议使用hessian2。

4:arvo的序列化和反序列化

使用步骤如下:

1:定义.avsc描述文件
2:通过avro-tool.jar,以.avsc描述文件作为输入生成pojo
3:通过avro.jar的API进行序列化(生成.avro文件)和反序列化

首先我们需要定义IDL,命名为User.avsc:

{
    "namespace": "dongshi.daddy.seriablize.avro",
    "type": "record",
    "name": "User",
    "fields": [
        {"name": "name", "type": "string"},
        {"name": "id", "type": "int"},
        {"name": "salary", "type": "int"},
        {"name": "age", "type": "int"},
        {"name": "address", "type": "string"}
    ]
}

接着通过avro-tools.jar生成pojo,如下:

$ java -jar avro-tools-1.8.2.jar compile schema User.avsc res
Input files to compile:
  User.avsc
log4j:WARN No appenders could be found for logger (AvroVelocityLogChute).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

然后我们将生成的User.java文件拷贝到classpath的dongshi.daddy.seriablize.avro目录,接着就可以执行序列化和反序列化了,首先执行序列化:

java 复制代码
@Test
public void testAvroSerialize() throws Exception {
// 声明并初始化User对象
    // 方式一
    User user1 = new User();
    user1.setName("wqbin");
    user1.setId(1);
    user1.setSalary(1000);
    user1.setAge(20);
    user1.setAddress("beijing");

    // 方式二 使用构造函数
// Alternate constructor
    User user2 = new User("wang", 2, 1000, 19, "guangzhou");

// 方式三,使用Build方式
// Construct via builder
    User user3 = User.newBuilder()
            .setName("bin")
            .setId(3)
            .setAge(21)
            .setSalary(2000)
            .setAddress("shenzhen")
            .build();
    String userDir = System.getProperty("user.dir");
    System.out.println("userDir is: " + userDir);
    String path = userDir + "/User.avro"; // avro文件存放目录
    DatumWriter<User> userDatumWriter = new SpecificDatumWriter<User>(User.class);
    DataFileWriter<User> dataFileWriter = new DataFileWriter<User>(userDatumWriter);
    dataFileWriter.create(user1.getSchema(), new File(path));
// 把生成的user对象写入到avro文件
    dataFileWriter.append(user1);
    dataFileWriter.append(user2);
    dataFileWriter.append(user3);
    dataFileWriter.close();
}

生成文件如下:

接着执行反序列化:

java 复制代码
@Test
public void testAvroDeserialize() throws Exception {
    DatumReader<User> reader = new SpecificDatumReader<User>(User.class);
    DataFileReader<User> dataFileReader = new DataFileReader<User>(new File(System.getProperty("user.dir") + "/User.avro"), reader);
    User user = null;
    while (dataFileReader.hasNext()) {
        user = dataFileReader.next();
        System.out.println(user);
    }
}

输出如下内容则为成功:

{"name": "wqbin", "id": 1, "salary": 1000, "age": 20, "address": "beijing"}
{"name": "wang", "id": 2, "salary": 1000, "age": 19, "address": "guangzhou"}
{"name": "bin", "id": 3, "salary": 2000, "age": 21, "address": "shenzhen"}

Process finished with exit code 0

5:kryo的序列化和反序列化

kryo是底层使用了ASM字节码技术,所以其只能使用在基于JVM的语言上,如Java,scala,kotlin等,接下来看下其如何使用。

  • 首先引入pom:
xml 复制代码
<dependency>
    <groupId>com.esotericsoftware</groupId>
    <artifactId>kryo</artifactId>
    <version>5.2.0</version>
</dependency>
  • 序列化:
java 复制代码
@Test
public void testKrypSerialize() throws Exception {
    Kryo kryo = new Kryo();
    kryo.register(SomeClass.class);

    SomeClass someClass = new SomeClass();
    someClass.value = "dongshidaddy";
    Output output = new Output(new FileOutputStream(userDir + "/someCls.bin"));
    kryo.writeObject(output, someClass);
    output.close();
}

运行后:

  • 反序列化
java 复制代码
@Test
public void testKrypDeserialize() throws Exception {
    Kryo kryo = new Kryo();
    kryo.register(SomeClass.class);

    Input input = new Input(new FileInputStream(userDir + "/someCls.bin"));
    SomeClass someClassFromBin = kryo.readObject(input, SomeClass.class);
    System.out.println(someClassFromBin.value);
}

运行后:

dongshidaddy

Process finished with exit code 0

6:fst的序列化和反序列化

java的序列化和反序列化方式,性能优秀(jdk原生序列化速度的10倍,序列化结果体积1/3左右),如果有序列化的需求可以考虑使用。看下如何使用。

  • 引入pom
xml 复制代码
<dependency>
    <groupId>de.ruedigermoeller</groupId>
    <artifactId>fst</artifactId>
    <version>2.04</version>
</dependency>
  • 序列化和反序列化
java 复制代码
// fst序列化和反序列化
@Test
public void testFstSerializeAndDescrialize() {
    dongshi.daddy.seriablize.fst.User bean = new dongshi.daddy.seriablize.fst.User();
    bean.setUsername("xxxxx");
    bean.setPassword("123456");
    bean.setAge(1000000);
    byte[] byteBean = configuration.asByteArray(bean);
    System.out.println("序列化的字节大小是:" + byteBean.length);
    // 反序列化
    dongshi.daddy.seriablize.fst.User resultBean = (dongshi.daddy.seriablize.fst.User) configuration.asObject(byteBean);
    System.out.println("fst反序列化的结果是:" + resultBean);
}

输出如下内容则为成功:

序列化的字节大小是:68
fst反序列化的结果是:User(username=xxxxx, age=1000000, password=123456)

Process finished with exit code 0

写在后面

巨人的肩膀

再来认识一下 Java 序列化

Hessian序列化实例

Avro从入门到入土

深入浅出序列化(2)------Kryo序列化

Kryo 和 FST 序列化

相关推荐
秃头佛爷42 分钟前
Python学习大纲总结及注意事项
开发语言·python·学习
阿伟*rui43 分钟前
配置管理,雪崩问题分析,sentinel的使用
java·spring boot·sentinel
待磨的钝刨44 分钟前
【格式化查看JSON文件】coco的json文件内容都在一行如何按照json格式查看
开发语言·javascript·json
XiaoLeisj3 小时前
【JavaEE初阶 — 多线程】单例模式 & 指令重排序问题
java·开发语言·java-ee
paopaokaka_luck3 小时前
【360】基于springboot的志愿服务管理系统
java·spring boot·后端·spring·毕业设计
dayouziei3 小时前
java的类加载机制的学习
java·学习
励志成为嵌入式工程师4 小时前
c语言简单编程练习9
c语言·开发语言·算法·vim
捕鲸叉4 小时前
创建线程时传递参数给线程
开发语言·c++·算法
A charmer4 小时前
【C++】vector 类深度解析:探索动态数组的奥秘
开发语言·c++·算法
Peter_chq4 小时前
【操作系统】基于环形队列的生产消费模型
linux·c语言·开发语言·c++·后端