centos编译hadoop3.1

文章目录

将 Hadoop 编译为本地(native)代码,加速文件编码、压缩、传输

安装本地工具

bash 复制代码
sudo yum install -y cmake gcc-c++ libtirpc-devel isa-l-devel snappy-devel zlib-devel openssl-devel libpmem-devel

gcc高版本(比如11)无法编译成功,会报错:ISO C++17 does not allow dynamic exception specifications

编译protoc

需使用旧版(2.5.0)protoc命令,否则报错:expected version is '2.5.0'

bash 复制代码
# 下载protobuf-2.5.0源码
./configure --prefix=/apps/svr/protobuf-2.5.0
make
make check
make install

# 优先使用旧版(2.5.0)protoc命令
export PATH=/apps/svr/protobuf-2.5.0/bin:$PATH

编译选项

使用tirpc作为rpc依赖,否则报错:

rpc/types.h: No such file or directory

undefined reference to 'xdrmem_create'

bash 复制代码
# 指定头文件
export CXXFLAGS="-I/usr/include/tirpc"
# 指定链接库
export LDFLAGS="-ltirpc"

maven仓库

DynamoDBLocal包需要从amazonaws下载,修改maven的settings.xml文件,使用mirror配置引导到国内可访问的下载地址:

xml 复制代码
<settings>
    <mirrors>
        <mirror>            
            <mirrorOf>dynamodb-local-oregon</mirrorOf>
            <id>aws</id>
            <url>https://dynamodb-local.s3.amazonaws.com/release</url>
        </mirror>
    </mirrors>
</settings>

编译hadoop

制作包含native code的tar包

bash 复制代码
mvn -Pdist,native -DskipTests -Dtar -Drequire.isal -Drequire.openssl -Drequire.snappy -Drequire.pmdk -Dmaven.javadoc.skip=true clean package -e -X

# 确认是否使用了本地的动态链接库
cd ./hadoop-dist/target/hadoop-3.1.2/bin
./hadoop checknative
相关推荐
我想吃余18 小时前
Linux进程概念(中):进程优先级和环境变量
linux·运维·服务器
凯子坚持 c18 小时前
AI 赋能云端运维:基于 MCP 协议深度集成 Codebuddy CLI 与腾讯云 Lighthouse 的实战全解
运维·人工智能·腾讯云·腾讯轻量云ai创想家
milo.qu18 小时前
ubuntu22.04 安装Docker
linux·运维·docker
The_Second_Coming18 小时前
容器应用学习笔记:containerd 篇
运维·笔记·学习·容器·containerd
*伤^情*18 小时前
docker教程
运维·docker·容器
Anthony_23118 小时前
Ansible的 Playbook 模式详解
linux·运维·服务器·ansible
郝学胜-神的一滴18 小时前
Linux命令行的核心理念与实用指南
linux·运维·服务器·开发语言·程序人生
三天不学习18 小时前
VMware虚拟机CentOS磁盘扩容完整指南(解决growpart报错 & LVM扩容)
linux·运维·centos
yyy00020018 小时前
SSH登录管理
运维·服务器·ssh
望获linux18 小时前
望获实时Linux:亚微秒级时间控制
linux·运维·服务器·计算机·fpga开发·嵌入式软件·飞腾