【Hadoop|MapReduce篇】Hadoop序列化概述

1. 什么是序列化

序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。

反序列化就是将收到的字节序列(或其他数据传输协议)或者磁盘的持久化数据,转换成内存中的对象。

2. 为什么要序列化

一般来说,"活的"对象只生存在内存中,关机断电就没有了。而且活的对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。然后序列化可以存储"活的"对象,可以将"活的"对象发送到远程计算机。

3. 为什么不用java序列化

java序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,Header,继承体系等),不便于在网络中高效传输。而hadoop的序列化只是会附带简单的校验,紧凑存储空间少,快速传输速度块。互操作性好。

相关推荐
云启数智YQ32 分钟前
企业进行大数据迁移的注意事项有些什么?
大数据·大文件传输·跨国文件传输·内外网文件传输·大文件传输软件
房产中介行业研习社1 小时前
嘉兴国商区2026年1月品质楼盘推荐
大数据·人工智能·房产直播技巧·房产直播培训
巧克力味的桃子2 小时前
Spark 课程核心知识点复习汇总
大数据·分布式·spark
金刚猿2 小时前
工作流调度平台 Dolphinscheduler - Standalone 单机部署 + Flink 部署【kafka消息推送、flink 消费】
大数据·flink
木风小助理2 小时前
解读 SQL 累加计算:从传统方法到窗口函数
大数据·数据库·sql
SeaTunnel2 小时前
Apache SeaTunnel 2025 案例精选重磅发布!
大数据·开源·apache·seatunnel·案例
竹君子2 小时前
新能源知识库(167)什么是章鱼能源?
大数据·人工智能·能源
期货资管源码3 小时前
外盘期货资管分仓软件源码搭建教程
大数据·源代码管理
Justice Young3 小时前
Hive第四章:HIVE Operators and Functions
大数据·数据仓库·hive·hadoop
百***24374 小时前
GPT-5.2国内调用+API中转+成本管控
大数据·人工智能·深度学习