Apache Doris的部署

Apache Doris 部署有单机快速部署和生产环境的集群部署两种常见方式,单机部署适合测试与开发,集群部署适用于正式业务场景。以下是基于主流 2.x 版本的详细部署步骤,以 Linux 系统为例:

前期准备

  1. 环境依赖安装

    组件 要求及安装命令
    JDK FE 依赖 JDK 8,下载后配置环境变量。示例配置:export JAVA_HOME=/root/jdk1.8.0_431``export PATH=$PATH:$JAVA_HOME/bin
    系统依赖库 BE 需依赖相关库,CentOS 执行:yum install -y libstdc++-devel zlib-devel snappy-devel lz4-devel;Ubuntu 执行:apt-get install -y libstdc++6 zlib1g-dev libsnappy-dev liblz4-dev
    辅助工具 安装 mysql - client 用于连接 FE,ntp 用于时间同步:yum install -y mysql - client ntp(CentOS)或apt install -y mysql - client-core - 8.0 ntp(Ubuntu)
  2. 系统参数优化 执行以下命令调整系统配置,避免部署后出现运行异常:

    bash

    运行

    复制代码
    # 调整虚拟内存映射数
    sysctl -w vm.max_map_count=2000000
    # 关闭swap分区
    swapoff -a
    # 提高文件描述符限制
    ulimit -n 655350
    # 写入配置文件确保重启生效
    echo "* soft nofile 65535" >> /etc/security/limits.conf
    echo "* hard nofile 65535" >> /etc/security/limits.conf
  3. 下载安装包 从Doris 镜像站下载稳定版安装包,示例命令:

    bash

    运行

    复制代码
    wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.1.10-bin-x64.tar.gz
    # 解压到指定目录
    mkdir -p /opt/doris
    tar -zxvf apache-doris-2.1.10-bin-x64.tar.gz -C /opt/doris
    cd /opt/doris

单机部署(测试环境)

单机部署会在同一台机器上同时启动 FE 和 BE,步骤简单适合快速测试。

  1. 部署 FE(前端节点)

    1. 编辑 FE 配置文件conf/fe.conf,关键配置如下:

    bash

    运行

    复制代码
    # 指定本机内网IP
    priority_networks = 192.168.0.118/24
    # 配置JDK路径
    JAVA_HOME=/root/jdk1.8.0_431
    # JVM内存配置,根据机器内存调整
    JAVA_OPTS="-Xms2g -Xmx2g -XX:+UseG1GC"
    1. 启动 FE 并验证:

    bash

    运行

    复制代码
    # 后台启动FE
    bin/start_fe.sh --daemon
    # 查看进程,存在DorisFE则启动成功
    jps
  2. 部署 BE(后端节点)

    1. 编辑 BE 配置文件conf/be.conf,配置内网 IP:

    bash

    运行

    复制代码
    priority_networks = 192.168.0.118/24
    1. 启动 BE 并验证:

    bash

    运行

    复制代码
    # 后台启动BE
    bin/start_be.sh --daemon
    # 查看进程,存在DorisBE则启动成功
    jps
  3. 注册 BE 到 FE 通过 MySQL 客户端连接 FE,完成 BE 节点注册:

    bash

    运行

    复制代码
    # 连接FE,默认无密码
    mysql -uroot -P9030 -h127.0.0.1 --default-auth=mysql_native_password
    # 执行注册命令,IP为本机地址
    alter system add backend "192.168.0.118:9050";
    # 查看BE状态,Alive为true表示注册成功
    show proc '/backends'\G

集群部署(生产环境)

生产环境建议 FE 节点≥3 台(1 主 2 从)、BE 节点≥3 台,保障高可用,以下是核心步骤。

  1. 节点规划示例

    节点 IP 角色 说明
    192.168.1.10 FE(Leader) 主前端节点,管理元数据
    192.168.1.11 FE(Follower) 从前端节点,实现高可用
    192.168.1.12 BE 数据存储与计算节点
    192.168.1.13 BE 数据存储与计算节点
    192.168.1.14 BE 数据存储与计算节点
  2. 批量部署 FE

    1. 先在 192.168.1.10 启动主 FE,步骤同单机部署的 FE 部署。
    2. 在 192.168.1.11 等从 FE 节点,修改fe.conf后,执行命令加入集群:

    bash

    运行

    复制代码
    # 从FE节点启动并关联主FE
    bin/start_fe.sh --daemon --helper 192.168.1.10:9010
  3. 批量部署 BE

    1. 每台 BE 节点修改conf/be.conf中的priority_networks为对应本机 IP。
    2. 启动所有 BE 后,通过 MySQL 客户端连接主 FE,批量注册 BE:

    bash

    运行

    复制代码
    alter system add backend "192.168.1.12:9050","192.168.1.13:9050","192.168.1.14:9050";

验证部署

  1. 访问 FE 的 Web 界面,默认端口 8030,如http://192.168.1.10:8030,可查看集群节点状态。

  2. 通过 MySQL 客户端执行简单查询,验证功能正常: sql

    复制代码
    create database test_db;
    use test_db;
    create table test_table(id int) distributed by hash(id) buckets 1;
    insert into test_table values(1);
    select * from test_table;
相关推荐
.冰块.1 天前
ELK 日志分析系统实验:部署 Elasticsearch 双节点集群实现 Apache 日志采集与 Kibana 可视化
elk·elasticsearch·apache·日志
爱吃辣椒的小豆豆3 天前
Apache 日志轮转触发 SVN 更新异常
svn·apache
2301_32241428043 天前
基于web的校园失物招领管理系统59695-计算机毕设 原创(免费领源码+部署教程+开发环境)
mysql·nginx·php·apache·thinkphp·phpstudy·wampserver
nvd113 天前
深入剖析 Apache Flink 流批双引擎的动态扩缩容架构:机制演进、状态重对齐与生产落地推导
架构·flink·apache
青企通3 天前
传统企业数字化转型的技术路径:从需求建模到小程序 MVP 的落地方法
小程序·php·apache
VX_bysjlw9854 天前
基于PHP的论坛系统设计与实现 35136-计算机毕设原创(免费领源码+带部署教程)
开发语言·php·apache·laravel·thinkphp·phpstudy·wampserver
运维小文4 天前
apache nifi 2.90部署+运维手册
大数据·运维·数据分析·apache·nifi
todoitbo5 天前
把 XAMPP 搬到鸿蒙 PC:在鸿蒙 PC 上跑 Apache httpd 2.4.69实战项目
华为·apache·harmonyos·鸿蒙·开源鸿蒙·鸿蒙pc
AI行业应用研究5 天前
会务系统的查询路径设计:从菜单导航到意图检索,多大规模的活动该配 AI 助理?
人工智能·apache
超龄超能程序猿6 天前
Apache Guacamole 入门指南
apache