centos编译hadoop3.1

文章目录

将 Hadoop 编译为本地(native)代码,加速文件编码、压缩、传输

安装本地工具

bash 复制代码
sudo yum install -y cmake gcc-c++ libtirpc-devel isa-l-devel snappy-devel zlib-devel openssl-devel libpmem-devel

gcc高版本(比如11)无法编译成功,会报错:ISO C++17 does not allow dynamic exception specifications

编译protoc

需使用旧版(2.5.0)protoc命令,否则报错:expected version is '2.5.0'

bash 复制代码
# 下载protobuf-2.5.0源码
./configure --prefix=/apps/svr/protobuf-2.5.0
make
make check
make install

# 优先使用旧版(2.5.0)protoc命令
export PATH=/apps/svr/protobuf-2.5.0/bin:$PATH

编译选项

使用tirpc作为rpc依赖,否则报错:

rpc/types.h: No such file or directory

undefined reference to 'xdrmem_create'

bash 复制代码
# 指定头文件
export CXXFLAGS="-I/usr/include/tirpc"
# 指定链接库
export LDFLAGS="-ltirpc"

maven仓库

DynamoDBLocal包需要从amazonaws下载,修改maven的settings.xml文件,使用mirror配置引导到国内可访问的下载地址:

xml 复制代码
<settings>
    <mirrors>
        <mirror>            
            <mirrorOf>dynamodb-local-oregon</mirrorOf>
            <id>aws</id>
            <url>https://dynamodb-local.s3.amazonaws.com/release</url>
        </mirror>
    </mirrors>
</settings>

编译hadoop

制作包含native code的tar包

bash 复制代码
mvn -Pdist,native -DskipTests -Dtar -Drequire.isal -Drequire.openssl -Drequire.snappy -Drequire.pmdk -Dmaven.javadoc.skip=true clean package -e -X

# 确认是否使用了本地的动态链接库
cd ./hadoop-dist/target/hadoop-3.1.2/bin
./hadoop checknative
相关推荐
一坨阿亮2 小时前
Linux 使用中的问题
linux·运维
昨天今天明天好多天4 小时前
【数据仓库】
大数据
wclass-zhengge4 小时前
Docker篇(Docker Compose)
运维·docker·容器
李启柱4 小时前
项目开发流程规范文档
运维·软件构建·个人开发·设计规范
油头少年_w4 小时前
大数据导论及分布式存储HadoopHDFS入门
大数据·hadoop·hdfs
Elastic 中国社区官方博客5 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
力姆泰克5 小时前
看电动缸是如何提高农机的自动化水平
大数据·运维·服务器·数据库·人工智能·自动化·1024程序员节
力姆泰克5 小时前
力姆泰克电动缸助力农业机械装备,提高农机的自动化水平
大数据·服务器·数据库·人工智能·1024程序员节
QYR市场调研6 小时前
自动化研磨领域的革新者:半自动与自动自磨机的技术突破
大数据·人工智能
BPM_宏天低代码6 小时前
低代码 BPA:简化业务流程自动化的新趋势
运维·低代码·自动化