【Hadoop|MapReduce篇】Hadoop序列化概述

1. 什么是序列化

序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。

反序列化就是将收到的字节序列(或其他数据传输协议)或者磁盘的持久化数据,转换成内存中的对象。

2. 为什么要序列化

一般来说,"活的"对象只生存在内存中,关机断电就没有了。而且活的对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。然后序列化可以存储"活的"对象,可以将"活的"对象发送到远程计算机。

3. 为什么不用java序列化

java序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,Header,继承体系等),不便于在网络中高效传输。而hadoop的序列化只是会附带简单的校验,紧凑存储空间少,快速传输速度块。互操作性好。

相关推荐
Matrix701 小时前
HBase理论_HBase架构组件介绍
大数据·数据库·hbase
SeaTunnel1 小时前
我手搓了个“自动生成标书”的开源大模型工具
大数据
小_太_阳3 小时前
hadoop_yarn详解
大数据·hadoop·yarn
Data-Miner4 小时前
大数据湖项目建设方案(100页WORD)
大数据·big data
AI服务老曹5 小时前
不仅能够实现前后场的简单互动,而且能够实现人机结合,最终实现整个巡检流程的标准化的智慧园区开源了
大数据·人工智能·深度学习·物联网·开源
管理大亨6 小时前
大数据微服务方案
大数据
脸ル粉嘟嘟7 小时前
大数据CDP集群中Impala&Hive常见使用语法
大数据·hive·hadoop
宝哥大数据7 小时前
数据仓库面试题集&离线&实时
大数据·数据仓库·spark
八荒被注册了7 小时前
6.584-Lab1:MapReduce
大数据·mapreduce
寰宇视讯7 小时前
“津彩嘉年,洽通天下” 2024中国天津投资贸易洽谈会火热启动 首届津彩生活嘉年华重磅来袭!
大数据·人工智能·生活