在Ubuntu系统上部署Elasticsearch集群，作为ELK（Elasticsearch、Logstash、Kibana）系统的一部分，是实现高效日志收集与存储的重要步骤。以下内容将详细介绍安装和配置Elasticsearch集群的全过程，确保您能够顺利完成部署并优化系统性能。

目录

1. 前提条件
2. 安装Java
3. 下载并安装Elasticsearch下载Elasticsearch解压安装包配置Elasticsearch启动Elasticsearch节点
4. 配置Elasticsearch集群配置文件关键参数说明示例配置
5. 启动集群中的所有节点
6. 验证集群状态
7. 操作流程图
8. 注意事项
9. 总结

前提条件

在开始之前，请确保以下条件已满足：

• Ubuntu系统：本文以Ubuntu 20.04 LTS为例，但其他版本的Ubuntu也适用。
• 管理员权限：需要具备 sudo权限以执行安装和配置命令。
• 网络连接：各节点之间需要能够通过网络通信，确保防火墙允许相关端口的访问。

安装Java

Elasticsearch依赖于Java运行环境，因此在每个节点上安装Java是必不可少的步骤。推荐使用OpenJDK 11或更高版本。

1. 更新系统包列表

首先，打开终端（快捷键 Ctrl + Alt + T），并更新系统的包列表：

sudo apt update

解释：
sudo apt update 命令会从所有配置的包源中获取最新的软件包信息，确保后续安装的软件是最新版本。

2. 安装OpenJDK

安装OpenJDK 11：

sudo apt install openjdk-11-jdk -y

解释：

• sudo apt install openjdk-11-jdk：安装OpenJDK 11开发工具包。
• -y：自动确认安装，不需要手动输入 yes。

3. 验证Java安装

检查Java版本以确认安装成功：

java -version

示例输出：

openjdk version "11.0.11" 2021-04-20
OpenJDK Runtime Environment (build 11.0.11+9-Ubuntu-0ubuntu2.20.04)
OpenJDK 64-Bit Server VM (build 11.0.11+9-Ubuntu-0ubuntu2.20.04, mixed mode, sharing)

解释：
java -version 命令显示当前安装的Java版本信息，确认Java已正确安装。

下载并安装Elasticsearch

接下来，下载并安装Elasticsearch。以下步骤将在每个集群节点上执行。

1. 下载Elasticsearch

进入您希望安装Elasticsearch的目录，例如 /opt：

cd /opt

解释：
cd /opt 将当前工作目录切换到 /opt，这是一个常用的安装目录。

下载Elasticsearch的最新版本（以7.14.0为例）：

sudo curl -LO https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.0-linux-x86_64.tar.gz

解释：

• curl -LO <URL>：使用curl命令下载指定URL的文件，-L选项允许跟随重定向，-O选项将文件保存为原始文件名。

2. 解压安装包

解压下载的Elasticsearch压缩包：

sudo tar xvf elasticsearch-7.14.0-linux-x86_64.tar.gz

解释：

• tar xvf <文件名>：使用tar命令解压文件，x表示解压，v表示详细输出，f指定文件名。

3. 配置Elasticsearch

进入解压后的Elasticsearch目录：

cd elasticsearch-7.14.0

解释：
cd elasticsearch-7.14.0 将当前工作目录切换到解压后的Elasticsearch目录。

编辑配置文件 config/elasticsearch.yml：

sudo nano config/elasticsearch.yml

解释：
sudo nano config/elasticsearch.yml 使用nano编辑器以超级用户权限打开 elasticsearch.yml文件，进行配置修改。

配置文件关键参数说明

重要提示：
确保在配置文件中正确设置集群名称和节点名称，以避免集群通信问题。

示例配置

以下是一个示例 elasticsearch.yml配置：

cluster.name: my-cluster
node.name: node-1
network.host: 0.0.0.0
discovery.seed_hosts: ["192.168.1.1", "192.168.1.2", "192.168.1.3"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]

解释：

• cluster.name: 设置集群名称为 my-cluster。
• node.name: 设置当前节点名称为 node-1。
• network.host: 设置为 0.0.0.0，使Elasticsearch监听所有网络接口。
• discovery.seed_hosts: 列出集群中其他节点的IP地址，便于节点发现。
• cluster.initial_master_nodes: 指定初始化集群时的主节点列表，确保主节点的选举。

保存并关闭文件（在nano中按 Ctrl + O，然后 Ctrl + X）。

4. 启动Elasticsearch节点

启动Elasticsearch节点：

sudo bin/elasticsearch

解释：
sudo bin/elasticsearch 以超级用户权限启动Elasticsearch服务。首次启动可能需要一些时间，Elasticsearch会进行必要的初始化。

注意：
在生产环境中，建议将Elasticsearch作为后台服务运行，或使用 systemd进行管理。以下示例展示如何使用 systemd管理Elasticsearch。

使用 systemd 管理 Elasticsearch

1. 创建一个 elasticsearch.service文件：
2. sudo nano /etc/systemd/system/elasticsearch.service
3. 添加以下内容：
4. [Unit] Description=Elasticsearch Documentation=https://www.elastic.co Wants=network-online.target After=network-online.target [Service] Type=simple User=elasticsearch Group=elasticsearch ExecStart=/opt/elasticsearch-7.14.0/bin/elasticsearch Restart=on-failure LimitNOFILE=65535 [Install] WantedBy=multi-user.target
5. 保存并关闭文件。
6. 创建Elasticsearch用户和组：
7. sudo adduser --system --no-create-home elasticsearch sudo chown -R elasticsearch:elasticsearch /opt/elasticsearch-7.14.0
8. 重新加载systemd配置并启动服务：
9. sudo systemctl daemon-reload sudo systemctl start elasticsearch sudo systemctl enable elasticsearch

解释：

• systemd服务文件定义了Elasticsearch的启动参数和行为。
• adduser命令创建一个专用的 elasticsearch用户，增强系统安全性。
• chown命令将Elasticsearch目录的所有权赋予 elasticsearch用户。
• systemctl命令用于管理Elasticsearch服务，enable选项确保服务在系统启动时自动启动。

配置Elasticsearch集群

在所有节点上完成Elasticsearch的基本安装后，接下来需要配置各节点，使其加入同一个集群。

1. 配置文件关键参数说明

2. 示例配置

假设有三个节点，IP地址分别为 192.168.1.1、192.168.1.2和 192.168.1.3，以下是每个节点的配置示例。

节点1（192.168.1.1）配置

cluster.name: my-cluster
node.name: node-1
network.host: 0.0.0.0
discovery.seed_hosts: ["192.168.1.1", "192.168.1.2", "192.168.1.3"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]

节点2（192.168.1.2）配置

cluster.name: my-cluster
node.name: node-2
network.host: 0.0.0.0
discovery.seed_hosts: ["192.168.1.1", "192.168.1.2", "192.168.1.3"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]

节点3（192.168.1.3）配置

cluster.name: my-cluster
node.name: node-3
network.host: 0.0.0.0
discovery.seed_hosts: ["192.168.1.1", "192.168.1.2", "192.168.1.3"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]

解释：

• cluster.name：所有节点必须使用相同的集群名称 my-cluster。
• node.name：每个节点的唯一名称，如 node-1、node-2、node-3。
• network.host：设置为 0.0.0.0，使Elasticsearch监听所有网络接口，便于节点间通信。
• discovery.seed_hosts：列出集群中所有节点的IP地址，方便节点发现彼此。
• cluster.initial_master_nodes：指定初始化集群时的主节点列表，确保主节点的正确选举。

重要提示：
在生产环境中，建议进一步配置安全设置，如启用TLS/SSL、设置用户认证等，以保护集群安全。

启动集群中的所有节点

在配置完成后，启动所有节点的Elasticsearch服务。若使用 systemd管理服务，可以执行以下命令：

sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch

解释：

• sudo systemctl start elasticsearch：启动Elasticsearch服务。
• sudo systemctl enable elasticsearch：设置Elasticsearch服务开机自启。

重复上述步骤，确保所有节点都已启动并加入到同一个集群中。

验证集群状态

完成所有节点的启动后，需要验证集群的健康状态，确保集群正常运行。

1. 使用curl命令检查集群健康状态

在任意一个节点上，执行以下命令：

curl -X GET "http://192.168.1.1:9200/_cluster/health?pretty"

解释：
curl -X GET "http://<node-IP>:9200/_cluster/health?pretty"：发送GET请求到Elasticsearch的集群健康API，?pretty参数使输出更易读。

示例输出：

{
  "cluster_name" : "my-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 10,
  "active_shards" : 20,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

解释：

• status：green表示集群健康，所有主分片和副本分片均已分配。
• number_of_nodes：集群中节点的总数，应与实际部署的节点数一致。
• number_of_data_nodes：数据节点的数量。

2. 使用Kibana验证

若已部署Kibana，可以通过Kibana的管理界面查看集群状态和详细信息。

1. 打开浏览器，访问Kibana界面（默认端口为5601）：http://<kibana-IP>:5601
2. 登录后，导航到 Management -> Elasticsearch -> Cluster，查看集群健康状态和节点信息。

解释：
Kibana提供了可视化界面，便于监控和管理Elasticsearch集群。

注意事项

• 备份数据：在进行任何安装或配置更改之前，务必备份重要数据，以防止意外数据丢失。
• 管理员权限：确保您具有足够的管理员权限（通常为 sudo 权限）来执行上述命令。
• 网络配置：如果您在企业网络或防火墙后部署Elasticsearch集群，确保相应的端口（如9200、9300）已开放，并配置正确的DNS解析。
• 安全配置：强烈建议在生产环境中启用TLS/SSL，以确保数据传输的安全性。同时，设置用户认证和访问控制，保护集群免受未授权访问。
• 资源需求：确保服务器具备足够的资源（CPU、内存、存储）以支持Elasticsearch的运行，特别是在处理大量日志数据时。
• 日志监控：定期监控Elasticsearch和系统日志，及时发现和解决潜在问题，确保集群的稳定性和可靠性。
• 版本兼容性：确保Elasticsearch、Logstash和Kibana的版本兼容，避免因版本不一致导致的功能问题。
• 性能优化：根据实际需求，调整Elasticsearch的配置参数（如内存设置、线程池配置等），以优化集群性能。

总结

通过以上详细步骤，您可以在Ubuntu系统上成功部署一个Elasticsearch集群，作为ELK系统的一部分，实现高效的日志收集与存储。每一步操作都附有详细解释，确保您理解其作用和影响。务必遵循操作顺序，并在必要时参考Elasticsearch的官方文档或咨询专业人士，以确保系统配置正确且安全。

Elasticsearch集群的部署不仅提升了日志管理的效率，还为后续的数据分析和可视化提供了坚实的基础。通过合理配置和维护，您可以充分利用Elasticsearch的强大功能，提升整体系统的监控和管理能力。