一、准备工作

1. 在系统环境配置中，应均在 root 用户下操作。

sshd_config 文件配置

键入命令：vim /etc/ssh/sshd_config。
修改 PermitRootLogin 的参数为 yes。
然后Root下执行 service sshd restart。

2. 关闭防火墙

ubuntu版本：

//查看状态
sudo systemctl status ufw
//停止防火墙
sudo systemctl stop ufw
//禁用防火墙
sudo systemctl disable uefw

银河麒麟等centos系列版本：

//查看状态
sudo systemctl status ufw
//停止防火墙
sudo systemctl stop ufw
//禁用防火墙
sudo systemctl disable uefw

3. 在所有节点上部署securecmdd工具

SYS_SECURECMDD 是集群中自带的工具，集群监控、管理集群时通过SYS_SECURECMDD 安全执行命令。SYS_SECURECMDD主要包含以下文件

1、sys_securecmdd，服务端二进制，集群中每个节点都有 sys_securecmdd进程运行，默认监听

8890端口，接受sys_securecmd的连接并执行指定的命令

2、sys_securecmd，客户端二进制，集群通过sys_securecmd发送指令给服务端并执行

3、sys_HAscmdd.sh，管理sys_securecmdd的脚本，主要负责秘钥协商的初始化

sys_securecmdd进程高可用管理等

4、sys_HAscmdd.conf，配置文件，sys_HAscmdd.sh 读取此文件

5、securecmdd_config，配置文件，sys_securecmdd 读取此文件，初始化阶段由

sys_HAscmdd.sh 自动配

6、securecmd_config，配置文件，sys_securecmd读取此文件，初始化阶段由sys_HAscmdd.sh

• 查看数据库软件安装包（自带securecmdd工具）

[kingbase@node1 zip]$ pwd
/opt/Kingbase/ES/V8R6_054/ClientTools/guitools/DeployTools/zip

[kingbase@node1 zip]$ ls -lh
total 341M
-rw-rw-r--. 1 kingbase kingbase 338M Apr  7 16:18 db.zip
-rw-rw-r--. 1 kingbase kingbase 9.7K Apr  7 16:18 install.conf
-rw-rw-r--. 1 kingbase kingbase 2.1M Apr  7 16:18 securecmdd.zip
-rwxrwxr-x. 1 kingbase kingbase 4.0K Apr  7 16:18 trust_cluster.sh
-rwxrwxr-x. 1 kingbase kingbase 138K Apr  7 16:18 V8R6_cluster_install.sh

• 将securecmdd.zip拷贝到/home/kingbase/r6_install

[kingbase@node1 zip]$ cp securecmdd.zip /home/kingbase/r6_install/
[kingbase@node1 r6_install]$ unzip securecmdd.zip 

[root@node2 bin]# ls -lh
total 2.0M
-rwxr-xr-x 1 kingbase kingbase  34K Apr  7 16:18 sys_HAscmdd.sh
-rwxr-xr-x 1 kingbase kingbase 856K Apr  7 16:18 sys_securecmd
-rwxr-xr-x 1 kingbase kingbase 938K Apr  7 16:18 sys_securecmdd
-rwxr-xr-x 1 kingbase kingbase 149K Apr  7 16:18 sys_secureftp

[root@node2 share]# ls -lh
total 24K
-rw------- 1 kingbase kingbase  381 May 23 10:26 accept_hosts
-rw------- 1 kingbase kingbase 1.7K May 23 10:26 key_file
-rw------- 1 kingbase kingbase  315 May 23 10:26 securecmd_config
-rw------- 1 kingbase kingbase  586 May 23 10:26 securecmdd_config
-rw-r--r-- 1 kingbase kingbase  275 May 23 10:26 securecmdd.service
-rw-r--r-- 1 kingbase kingbase  246 May 23 10:26 sys_HAscmdd.conf

• 执行sys_HAscmdd.sh init

[root@node2 bin]# sh sys_HAscmdd.sh  init
successfully initialized the sys_securecmdd, please use "sys_HAscmdd.sh start" to start the sys_securecmdd

• 启动securecmdd服务

[root@node2 bin]# sh sys_HAscmdd.sh start
[root@node2 bin]# systemctl status securecmdd
● securecmdd.service - KingbaseES - sys_securecmdd daemon
   Loaded: loaded (/etc/systemd/system/securecmdd.service; enabled; vendor prese>
   Active: active (running) since Thu 2024-10-03 17:59:06 CST; 2h 46min ago
 Main PID: 78262 (sys_securecmdd)
    Tasks: 1
   Memory: 624.0K
   CGroup: /system.slice/securecmdd.service
           └─78262 sys_securecmdd: /home/kingbase/r6_install/securecmdd/bin/sys_>

Oct 03 17:59:06 kb1.local systemd[1]: Started KingbaseES - sys_securecmdd daemon.
lines 1-10/10 (END)

4. 测试集群各节点是否可以免密连接

[root@node2 bin]# ./sys_securecmd -vvv root@192.168.139.150 ifconfig
OpenSSH_9.0p1, OpenSSL 1.1.1q  5 Jul 2022
debug1: Reading configuration data /etc/.kes/securecmd_config
debug2: resolve_canonicalize: hostname 192.168.139.150 is address
debug1: Authenticator provider $SSH_SK_PROVIDER did not resolve; disabling
debug3: ssh_connect_direct: entering
debug1: Connecting to 192.168.139.150 [192.168.139.150] port 8890.
debug3: set_sock_tos: set socket 5 IP_TOS 0x48
debug2: fd 5 setting TCP_USER_TIMEOUT 0
debug1: Connection established.
debug1: identity file /root/.es/key_file type -1
debug1: identity file /root/.es/key_file-cert type -1
debug1: Local version string SSH-2.0-OpenSSH_9.0
debug1: Remote protocol version 2.0, remote software version OpenSSH_9.0
........
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.139.150  netmask 255.255.255.0  broadcast 192.168.139.255
        inet6 fe80::5a17:b057:5bc1:ceff  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:c0:93:ee  txqueuelen 1000  (Ethernet)
        RX packets 12824  bytes 1524717 (1.4 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 13066  bytes 1352889 (1.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 31874  bytes 3824539 (3.6 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 31874  bytes 3824539 (3.6 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
........

二、图形界面部署

1 创建项目

1）在开启的“数据库部署工具”中，关闭欢迎窗口。然后点击左上角的“窗口”菜单

2）鼠标右键单击“集群项目名称”，工具弹出右键菜单，选择“创建项目”，如下图：

3）右键单击刚刚创建的项目节点，弹出菜单，选择“创建集群”。右键菜单如下图：

4）集群创建成功后，节点通用配置参数不能再修改。界面如下：

5）填写完成后点击“下一步”进入到db&repmgr配置，如下图：

6）点击“高级设置”选项卡，如下图所示：

7）展开当前创建的集群，右键选择菜单的“新增节点”，如下图所示：

8）检测合格后进入到系统环境检测步骤界面，此时需点击下方的检测按钮。如下图所示：

点击“检查”按钮，环境参数的信息检测都会输出到这个界面中。输出信息中可能会出现红色和黄色提示，被标为红色ERROR的提示，意为不允许安装集群，用户需解决后，才可继续进行下一步。黄色Warning意为不解决可能会导致集群出现问题隐患。例如：

说明：需要停止数据库，修改数据库目录。如果参数有问题，可以点击“一键修改系统参数”按钮进行修改。

修改后，如果参数都已经正确，如图所示

9）点击上图中“下一步”按钮，系统进入预览信息界面，当前界面将会把配置信息进行汇总并显示，如下图所示：

10）点击确定，打开部署窗口

11）点击部署，开始部署。

12）按上述步骤，部署其他节点，部署成功后，集群状态如下：

注意：由于kingbase的授权文件，只有专业版和企业版是支持集群部署的，开发版和标准版授权文件都不支持，因此请下载正确的授权文件。

三、一键式集群部署

KingbaseES 提供数据库部署工具进行数据库集群的部署。对于不支持 GUI 的服务器，KingbaseES 提供基于命令行操作的集群部署方式。

1.部署配置文件 install.conf 配置

install.conf 参数配置示例：

on_bmj=0
all_ip=(192.168.139.150 192.168.139.153）
production_ip=()
# 配置 all_ip 后，不能配置这个参数
local_disaster_recovery_ip=() # 配置 all_ip 后，不能配置这个参数
remote_disaster_recovery_ip=() # 配置 all_ip 后，不能配置这个参数
witness_ip=""
# 在此 IP 的设备上部署观察器节点，如果不需要部署请设置为空
install_dir="/home/kingbase/v8r6"
zip_package="/home/kingbase/r6_install/db.zip"
license_file=(license.dat)
db_user="system"
db_password="123456"
db_port="54321"
db_mode="mysql"
db_auth="scram-sha-256"
db_case_sensitive="no"
db_encoding=""
db_collate=""
db_ctype=""
other_db_init_options=""
sync_security_guc="no"
data_directory="/home/kingbase/v8r6/data"
trusted_servers="192.168.28.1"
running_under_failure_trusted_servers="on"
virtual_ip="192.168.28.226"
net_device=(ens33）
net_device_ip=(192.168.139.150 192.168.139.153) # 网卡上已有的 ip 地址
ipaddr_path="/sbin"
arping_path=""
ping_path="/bin"
super_user="root"
execute_user="kingbase"
deploy_by_sshd=1
use_scmd=1
reconnect_attempts="10"
reconnect_interval="6"
recovery="standby"
ssh_port="22"
scmd_port="8890"
auto_cluster_recovery_level="1"
use_check_disk="off"
synchronous=""
# 配置为空，则读写分离集群默认为 quorum，两地三中心集群默认为 all
sync_in_same_location=0
failover_need_server_alive='off'

2.开始部署

1）在 /home/kingbase/r6_install 目录下用 root 用户执行命令 sh trust_cluster.sh，在执行过程中，如果遇到需要输入信息的地方，请按提示要求输入；

2）使用集群部署用户执行 cluster_install.sh 脚本；

3）按步骤1和步骤2，依次部署其他的节点；

4）集群部署成功后，请去到集群部署位置（install_dir）下，执行命令”install_dir/ bin/ repmgr cluster show”，确认是否真正成功部署集群。

四、集群启停

集群的启停通常有两种方式：一键启停和单个节点独立启停。

1 一键启停方式

• 集群一键停止

$bin_path/sys_monitor.sh stop

• 集群一键启动

$bin_path/sys_monitor.sh start

2 手动启停方式

需要按照步骤手动启动集群中所有数据库以及守护进程。

• 首先启动所有数据库节点，在启动前需要检查所有数据库状态，保证不能有多主。

sys_ctl -D $data_directory -l logfile start

• 然后启动所有节点的 repmgrd 守护进程。

repmgrd -d -v -f $rep_conf

• 启动所有节点的 kbha 守护进程。

kbha -A daemon -f $rep_conf

• 最后，在所有节点使用 root 用户添加 CRON 任务。

1）在文件/etc/cron.d/KINGBASECRON（如果没有请创建）中写入语句：

$user . /etc/profile;$bin_path/kbha -A daemon -f $rep_conf

2）需要按照步骤手动停止所有守护进程以及数据库。

2.1）首先，在所有节点使用 root 用户注释或删除 CRON 任务。

在文件/etc/cron.d/KINGBASECRON 注释（句首使用 #）以下语句：

$user . /etc/profile;$bin_path/kbha -A daemon -f $rep_conf

2.2）其次，关闭或杀掉所有节点的守护进程 kbha 和 repmgrd。

一定先关闭 kbha 进程 kill -9 pidof kbha repmgrd

2.3）最后停止所有数据库节点。

sys_ctl -D $data_directory -l logfile stop

五、检查数据库集群状态

在数据库运维过程中，需要定期的对数据库的环境进行检查，可以帮助用户减少数据库发生问题的概率。检查最好以脚本形式实现，然后定期执行，减少运维难度。一键检查数据库状态脚本可以快速的检查数据库状态以及运行环境，支持单机或者主备集群使用。

调用脚本时，使用 -D 参数指定数据库 data 目录，脚本会自动根据 data 目录来判断是单机还是集群。单机只检查本机的状态，集群会检查所有节点（不包括 witness 节点）的状态。在检查过程中会连接数据库，单机使用chk.conf 配置文件中配置的 kb_user 和 kb_database 进行连接，连接过程中需要手动输入密码。集群使用流复制用户进行连接，不需要输入密码。

调用脚本时，如果没有传入 data 目录，则将跳过连接数据库的检查，仅检查本机的状态。