Doris集群安装部署

jdk 我们使用8u391

https://www.oracle.com/java/technologies/javase/8u-relnotes.html

安装前准备 安装包

• apache-doris-2.0.2-bin-x64.tar.gz
• jdk1.8.0_391.tgz
• mysql-5.7.43-linux-glibc2.12-x86_64.tar.gz

安装要求

命令cat /proc/cpuinfo | grep avx2来查看当前CPU所支持的指令集
命令netstat -lntp 2>/dev/null|grep LISTEN|awk '{print $4}'|awk -F':' '{print $NF}'|sort|uniq查询已经占用的端口
命令cat /etc/redhat-release 查询系统版本
命令gcc -v

Linux 操作系统版本需求

软件需求

句柄需求 设置系统文件句柄数

• vi /etc/security/limits.conf soft nofile 65536 hard nofile 65536

关闭 Swap 修改/etc/sysctl.conf，增加以下配置

vm.swappiness=0
vm.overcommit_memory=1
vm.zone_reclaim_mode = 0

sysctl -w vm.max_map_count=2000000

配置完毕后，执行sysctl -p命令使其生效。

查看交换区

Free -g

网络需求 Doris 各个实例直接通过网络进行通讯。以下表格展示了所有需要的端口

注：
当部署多个 FE 实例时，要保证 FE 的 http_port 配置相同。
部署前请确保各个端口在应有方向上的访问权限。

部署规划

hosts配置

vim /etc/hosts
10.8.0.148 fe02
10.8.0.72  fe01
10.8.0.184 fe03

用户规划

groupadd -g 900 doris
useradd -u 210 -g 900 doris

目录规划 将空间大的目录软链接到home的子目录下，比如//data。此文档采用/data目录为例

用户目录

/home/doris/software 链接至 /data/doris/software

数据目录

/home/doris/data链接至 /data/doris/data

日志目录

/home/doris/logs链接至 /data/doris/logs

免密需求 集群中任一机器都与其他机器root免密。

见编写集群分发脚本

每台机器都相互免密登录一下，确认免密成功。

安装步骤

1.新建用户与用户组

groupadd -g 900 doris useradd -u 900 -g 900 doris

2.准备目录-将安装包分发至各个服务器的/data/installPackage目录

mkdir -p /data/doris/installPackage mkdir -p /data/doris/software mkdir -p /data/doris/logs mkdir -p /data/doris/data ln -snf /data/doris/software /home/doris/software ln -snf /data/doris/logs /home/doris/logs ln -snf /data/doris/data /home/doris/data fe的元数据存储目录 mkdir -p /data/doris/data/doris-meta be的数据存储目录 mkdir -p /data/doris/data/datastorage

3.将安装包解压至software目录并配置软链接

tar -zxvf /data/doris/installPackage/jdk-8u391-linux-x64.tar.gz -C /data/doris/software/; tar -zxvf /data/doris/installPackage/apache-doris-2.0.2-bin-x64.tar.gz -C /data/doris/software/; 在某一台机器上安装mysql客户端 tar -zxvf /data/installPackage/mysql-5.7.43-linux-glibc2.12-x86_64.tar.gz -C /data/doris/software/; ln -snf /home/doris/software/mysql-5.7.43-linux-glibc2.12-x86_64 /data/doris/software/mysql-client; 4.确认目录权限 chown -R doris:doris /data/doris/; chown -R doris:doris /home/doris/;

ln -snf /home/doris/software/jdk1.8.0_391 /home/doris/software/java; ln -snf /home/doris/software/apache-doris-2.0.2-bin-x64 /home/doris/software/doris; 配置JDK

su - doris; vim /home/doris/.bashrc; 在.bashrc文件中追加以下内容 export JAVA_HOME=/home/doris/software/jdk1.8.0_391 export PATH= $JAVA_HOME/bin:$ PATH 配置生效 source /home/doris/.bashrc; 检查jdk java -version;

配置Doris文件 在doris用户下执行

fe.conf

vim /home/doris/software/doris/fe/conf/fe.conf 添加配置（使用ip a命令可获取） priority_networks = 实际本机IP地址/掩码长度 meta_dir=/data/doris/data/doris-meta the output dir of stderr and stdout LOG_DIR = /data/doris/logs

be.conf

vim /home/doris/software/doris/be/conf/be.conf 添加配置（使用ip a命令可获取） priority_networks = 实际本机IP地址/掩码长度 storage_root_path=/data/doris/data/datastorage the output dir of stderr and stdout LOG_DIR = /data/doris/logs

4、启动与停止 启动一个FE

su - doris;
cd  /home/doris/software/doris/fe;
sh bin/start_fe.sh --daemon;

先启动FE不启动BE

5、FE登陆页面查看

http://10.8.0.72:8030/Configuration

刚开始的账号是root。密码是空

6、 在 FE 中添加所有 BE 节点

BE 节点需要先在 FE 中添加，才可加入集群。可以使用 mysql-client 连接到 FE。

1）安装 MySQL Client

（1）创建目录

mv mysql-5.7.43-linux-glibc2.12-x86_64.tar.gz ../software/

（2）检查当前系统是否安装过 MySQL

sudo rpm -qa|grep mariadb

#如果存在，先卸载

sudo rpm -e --nodeps mariadb mariadb-libs mariadb-server

(3)添加mysql-client环境变量

#Mysql environment

export MYSQL_HOME=/data/doris/software/mysql-5.7.43-linux-glibc2.12-x86_64

export PATH=$PATH:${MYSQL_HOME}/bin

2）使用 MySQL Client 连接 FE

mysql -h fe01 -P 9030 -uroot

默认 root 无密码，通过以下命令修改 root 密码。

SET PASSWORD FOR 'root' = PASSWORD('#!zVSaj4gMbS');

MysqlClient连接第一个启动的FE 增加其他的FE节点和BE节点（无密码连接方式）

/home/doris/software/mysql-client -h 启动的FEIP -P 9030 -uroot
-- edit_log_port位于conf/fe.conf  ,默认为9010
mysql> ALTER SYSTEM ADD FOLLOWER "10.8.0.148:9010";
mysql> ALTER SYSTEM ADD FOLLOWER "10.8.0.184:9010";
-- 查看所有fe节点
mysql> show proc '/frontends';
mysql> ALTER SYSTEM ADD BACKEND "10.8.0.98:9050";
mysql> ALTER SYSTEM ADD BACKEND "10.8.0.113:9050";
mysql> ALTER SYSTEM ADD BACKEND "10.8.0.87:9050";
-- 查看所有be节点
mysql> show proc '/backends';

7、启动其他的FE节点(FE2,FE3)

待加入的FE节点（第一次启动时要加–helper参数，否则follower fe节点无法加入集群）

su - doris;
cd  /home/doris/software/doris/fe;
sh bin/start_fe.sh --helper 10.8.0.72:9010 --daemon;

8、启动BE

su - doris;
cd  /home/doris/software/doris/be;
sh bin/start_be.sh --daemon

3）添加 BE

ALTER SYSTEM ADD BACKEND "fe01:9050";

ALTER SYSTEM ADD BACKEND "fe02:9050";

ALTER SYSTEM ADD BACKEND "fe03:9050";

4）查看 BE 状态

SHOW PROC '/backends';

9、 启动 BE

1）启动 BE（每个节点）

/opt/module/apache-doris-0.15.0/be/bin/start_be.sh --daemon

2）查看 BE 状态

mysql -h fe01 -P 9030 -uroot -p

SHOW PROC '/backends';

Alive 为 true 表示该 BE 节点存活。

遇到的问题

1、invalid cluster id: xxxx

这个错误可能会在show backends 或 show frontends 命令的结果中出现。通常出现在某个FE或BE节点的错误信息列中。这个错误的含义是，Master FE向这个节点发送心跳信息后，该节点发现心跳信息中携带的 cluster id和本地存储的 cluster id不同，所以拒绝回应心跳。 Doris的 Master FE 节点会主动发送心跳给各个FE或BE节点，并且在心跳信息中会携带一个cluster_id。cluster_id是在一个集群初始化时，由Master FE生成的唯一集群标识。当FE或BE第一次收到心跳信息后，则会将cluster_id以文件的形式保存在本地。FE的该文件在元数据目录的image/目录下，BE则在所有数据目录下都有一个cluster_id文件。之后，每次节点收到心跳后，都会用本地cluster_id的内容和心跳中的内容作比对，如果不一致，则拒绝响应心跳。 该机制是一个节点认证机制，以防止接收到集群外的节点发送来的错误的心跳信息。 如果需要恢复这个错误。首先要先确认所有节点是否都是正确的集群中的节点。之后，对于FE节点，可以尝试修改元数据目录下的 image/VERSION 文件中的 cluster_id 值后重启FE。对于BE节点，则可以删除所有数据目录下的 cluster_id 文件后重启 BE。

最后的FE和BE结果展示

BE

FE