序列化和反序列化hadoop实现

Hadoop 中序列化与反序列化的实现机制

Hadoop 提供了自己的轻量级序列化接口 `Writable`,用于高效地在网络中传输数据或将其存储到磁盘。以下是关于其核心概念和实现方式的详细介绍:


1. **Hadoop 序列化的核心原理**

Hadoop 的序列化是一种将对象转换为字节流的过程,以便于在网络上传输或保存到磁盘中。这种设计旨在减少冗余信息,提高效率。

  • **紧凑性**:相比 Java 原生的 `Serializable` 接口,Hadoop 的 `Writable` 不会携带过多元数据(如类名、字段签名等),从而节省存储空间。

  • **高性能**:通过简化结构,减少了序列化和反序列化的开销,提升了速度。

  • **跨语言支持**:Hadoop 的序列化机制允许不同编程语言之间的互操作,这对于分布式系统的多语言协作尤为重要。


2. **Hadoop Writable 接口详解**

为了使某个类能够在 Hadoop 中被序列化,它必须实现 `Writable` 或 `WritableComparable` 接口。这两个接口提供了两个主要方法:

  • **`write(DataOutput out)`**:负责将对象的状态写入到输出流中。

  • **`readFields(DataInput in)`**:负责从输入流中恢复对象的状态。

这些方法定义了如何将对象转化为字节流以及如何从字节流重建对象。


3. **自定义 Bean 类实现序列化**

下面展示了一个简单的例子,说明如何在 Hadoop 中实现一个自定义的 `Writable` 对象。

定义一个自定义的 Writable 类

假设我们需要传递一个人的对象,其中包含姓名 (`name`) 和年龄 (`age`) 属性。

```java

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

public class Person implements org.apache.hadoop.io.Writable {

private String name; // 姓名

private int age; // 年龄

public Person() {} // 默认无参构造函数,必要!

public Person(String name, int age) {

this.name = name;

this.age = age;

}

@Override

public void write(DataOutput out) throws IOException {

out.writeUTF(name); // 将字符串写入输出流

out.writeInt(age); // 将整数写入输出流

}

@Override

public void readFields(DataInput in) throws IOException {

name = in.readUTF(); // 从输入流中读取字符串

age = in.readInt(); // 从输入流中读取整数

}

@Override

public String toString() {

return "Person{name='" + name + "', age=" + age + "}";

}

}

```


4. **使用场景示例**

以下是如何在 MapReduce 程序中使用这个自定义的 `Person` 类作为键值对的一部分。

Mapper 输出自定义对象

Mapper 可以直接输出 `Person` 对象作为 value。

```java

import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class MyMapper extends Mapper<LongWritable, Text, IntWritable, Person> {

@Override

protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

String\[\] tokens = value.toString().split(",");

if (tokens.length >= 2) { // 假设输入格式为 "name,age"

String name = tokens0;

int age = Integer.parseInt(tokens1);

context.write(new IntWritable(age), new Person(name, age));

}

}

}

```

Reducer 处理自定义对象

Reducer 可以接收并处理来自 Mapper 的 `Person` 对象。

```java

import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

import java.util.ArrayList;

import java.util.List;

public class MyReducer extends Reducer<IntWritable, Person, IntWritable, Text> {

@Override

protected void reduce(IntWritable key, Iterable<Person> values, Context context) throws IOException, InterruptedException {

List<String> names = new ArrayList<>();

for (Person person : values) {

names.add(person.getName());

}

context.write(key, new Text(names.toString()));

}

}

```


5. **总结**

Hadoop 的序列化机制基于 `Writable` 接口,提供了一种轻量化的方式,使得对象可以在网络中高效传输或持久化到磁盘。相比于 Java 原生的 `Serializable`,它的优势在于更高的性能和更低的空间消耗。

通过上述代码示例可以看出,开发者只需关注 `write` 和 `readFields` 方法的具体实现即可轻松完成自定义类型的序列化与反序列化。


相关推荐
.痞老板.15 小时前
java ee--网络编程套接字
网络·java-ee·php
演艺大赏15 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy199019 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
JianZhen✓2 天前
IM 聊天列表为什么总“消息乱跳“:有序插入、时间轴派生、本地截断、已读回执
开发语言·前端·php
FungLeo2 天前
FengCMS · PHP+MySQL 升级实录· 代码审计怎么闭环:REVIEW到 CLOSURE 四件套,12 个域90 篇修复文档跟到底
开发语言·mysql·php·代码审计·fengcms
演艺大赏2 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏2 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
FungLeo2 天前
FengCMS · PHP+MySQL 升级实录 · 一个不懂PHP 的后端,三天 216次提交完成十三年老站安全升级(项目复盘)
mysql·安全·php·安全加固·fengcms
pps-key2 天前
网络攻防入门:从“黑客梦”到合法实操(生存篇)
开发语言·web安全·php
驭渊的小故事3 天前
订单服务如何调用商品服务?一次 RestTemplate 跨服务调用入门
java·开发语言·php