部署 Doris 集群通常涉及多个步骤,包括下载和解压软件包、配置 FE 和 BE 节点以及启动服务。下面是在三台 Linux 服务器上部署一个包含三个 FE (Frontend) 和三个 BE (Backend) 的 Doris 集群的详细步骤:
服务器ip:192.168.0.103、192.168.0.104、192.168.0.105
fe配置文件:fe/conf/fe.conf
be配置文件是be/conf/be.conf

1. 准备工作

确保每台服务器已安装好所需的基础软件,如 wget 用于下载 Doris,tar 用于解压,以及 Java 环境等。需要安装JDK1.8

sudo yum install -y wget java-1.8.0-openjdk-devel

2. 下载并解压 Doris

在每台服务器上执行以下命令来下载并解压 Doris:

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.8-bin-x64-noavx2.tar.gz
tar -zxvf apache-doris-2.0.8-bin-x64-noavx2.tar.gz
mv apache-doris-2.0.8-bin-x64-noavx2  apache-doris-2.0.8
cd apache-doris-2.0.8/

3. 配置 FE 节点

对于每个 FE 节点,需要编辑 fe/conf/fe.conf 文件。以第一个 FE 节点(192.168.0.103)为例,该节点将作为 Master FE,其配置如下:

# fe.conf
priority_networks = 192.168.0.0/24

对于其他 FE 节点(192.168.0.104 和 192.168.0.105),可以使用相同的配置。

4. 启动 FE 服务

在 Master FE (192.168.0.103)节点上运行以下命令启动 FE 服务:

./bin/start_fe.sh --daemon

配置及启动 Follower FE

对于非 Master FE 节点(例如 192.168.0.104 和 192.168.0.105),在配置文件 fe/conf/fe.conf 设置完后,启动 FE 时需要使用 --helper 参数指向 Master FE。

  1. 确定 Master FE 的配置

    • 在 Master FE 的 fe.conf 文件中找到 edit_log_port。默认情况下可能是 9010。
    • 确认 Master FE 的 IP 地址,例如 192.168.0.103。
  2. 启动其他 FE 节点

    • 对于每个 Follower FE 节点,使用以下命令启动:
      ./bin/start_fe.sh --helper 192.168.0.103:9010 --daemon
      
    • 这里 192.168.0.103:9010 应替换为实际的 Master FE IP 地址和 edit_log_port

这一步骤是集群设置的关键部分,确保所有 FE 节点能够正确加入并在需要时进行数据同步。在完成这些步骤后,您应该能够看到所有 FE 节点都已经正常运行并且可以通过 SHOW PROC '/frontends'; 命令查看它们的状态。

5. 配置 BE 节点

在每个 BE 节点的 be/conf/be.conf 文件中进行配置。以 192.168.0.103 为例:

# be.conf
priority_networks = 192.168.0.0/24

6. 启动 BE 服务

在每个 BE 节点上运行以下命令启动 BE 服务:

./bin/start_be.sh --daemon

7. 添加 FE 节点

首先通过 mysql 客户端连接到 Master FE:(如何快速安装mysql客户端)

mysql -h 192.168.0.103 -u root

然后,使用以下命令添加其他 FE 节点:

ALTER SYSTEM ADD FOLLOWER "192.168.0.104:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.0.105:9010";

8. 添加 BE 节点

使用以下命令添加 BE 节点:

ALTER SYSTEM ADD BACKEND "192.168.0.103:9050";
ALTER SYSTEM ADD BACKEND "192.168.0.104:9050";
ALTER SYSTEM ADD BACKEND "192.168.0.105:9050";

9. 基本测试

确保所有节点都已加入集群并正常运行。您可以使用以下命令查看 FE 和 BE 的状态:

mysql -h 127.0.0.1 -P 9030 -u root -e "SHOW PROC '/frontends';"
mysql -h 127.0.0.1 -P 9030 -u root -e "SHOW PROC '/backends';"
#或者登录后执行
SHOW PROC '/frontends';
SHOW PROC '/backends';

10:基本测试

1 创建数据库和表

CREATE DATABASE test;
USE test;
CREATE TABLE t1 (k1 INT, k2 VARCHAR(10)) ENGINE=OLAP
DISTRIBUTED BY HASH(k1) BUCKETS 3
PROPERTIES ("replication_num" = "3");

2.插入和查询数据

INSERT INTO t1 VALUES (1, 'a'), (2, 'b'), (3, 'c');
SELECT * FROM t1;
04-17 09:49