百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

ElasticSearch系列(一):安装

nanshan 2025-01-13 16:32 14 浏览 0 评论

一.软件准备

可以先去官方网站(https://www.elastic.co/cn/downloads/past-releases)下载需要的版本7.17.9。同时,为了比较不同的安装方式,这里,我们选择【LINUX X86_64】与【RPM X86_64】分别进行下载,并在本文后续查看其是如何安装,并运行的。

elasticsearch-7.17.9-linux-x86_64.tar.gz

elasticsearch-7.17.9-x86_64.rpm

二.Tar包安装及其运行

1. 解压包到/home/下:

tar -xzf elasticsearch-7.17.9-linux-x86_64.tar.gz

  1. 创建用户组,及其新用户

因ElasticSearch默认不允许我们使用root用户启动,否则会报告如下错误:

java.lang.RuntimeException: can not run elasticsearch as root

故此,我们需要新建用户及其用户组,如下:

#创建es用户组

groupadd es

#创建es用户并加入到es用户组

useradd es -g es

#给elasticsearch-7.17.9文件夹赋予读写权限,如果服务启动遇到日志等文件权限不足的情况,需要再次执行以下命令进行赋予权限。

chmod -R 777 /home/elasticsearch-7.17.9

  1. ES_JAVA_HOME配置

因ElasticSearch从7.0开始默认安装了java运行环境,以便在没有安装java运行环境的机器上运行,安装包已经包含了一个相匹配的 JAVA 版本在里面。但是,需要配置ES_JAVA_HOME,否则会报告如下错误:

could not find java in bundled JDK at /home/elasticsearch-7.17.9/jdk/bin/java

vi /home/elasticsearch-7.17.9/bin/elasticsearch-env

增加配置如下:

ES_JAVA_HOME="$ES_HOME/jdk"

  1. elasticsearch.yml配置

编辑:vi /home/elasticsearch-7.17.9/config/elasticsearch.yml

在最后,追加如下配置:

xpack.ml.enabled: false # 注意“:”号存在空格!

否则直接启动,会报告如下错误:

uncaught exception in thread [main] org.elasticsearch.bootstrap.StartupException: ElasticsearchException[Failure running machine learning native code. This could be due to running on an unsupported OS or distribution, missing OS libraries, or a problem with the temp directory. To bypass this problem by running Elasticsearch without machine learning functionality set [xpack.ml.enabled: false].

  1. elasticsearch.yml配置

编辑:vi /home/elasticsearch-7.17.9/config/elasticsearch.yml

在最后,追加如下配置,暂时不做更新地图:

ingest.geoip.downloader.enabled: false # 注意“:”号存在空格!

否则再次启动,会报告如下错误:

not all primary shards of [.geoip_databases] index are active

  1. 运行

在完成上面章节的一系列配置后,切换到用户es下,从命令行运行 ElasticSearch

[root@localhost home]# su - es

执行如下命令,启动ElasticSearch

/home/elasticsearch-7.17.9/bin/elasticsearch

也可以作为一个守护进程在后台运行,如下:

/home/elasticsearch-7.17.9/bin/elasticsearch -d

  1. 验证

7.1 进程确认

执行如下命令:

ps aux | grep elasticsearch

如果看到如下信息输出,证明elasticsearch的确已经正常启动

7.2 Web确认

在等待一段时间后,执行如下命令:

curl "localhost:9200"

如果看到如下信息输出,证明elasticsearch的确已经正常启动

{

"name" : "localhost.localdomain",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "jQCjqc34TNeB-wCX5D8Drg",

"version" : {

"number" : "7.17.9",

"build_flavor" : "default",

"build_type" : "tar",

"build_hash" : "ef48222227ee6b9e70e502f0f0daa52435ee634d",

"build_date" : "2023-01-31T05:34:43.305517834Z",

"build_snapshot" : false,

"lucene_version" : "8.11.1",

"minimum_wire_compatibility_version" : "6.8.0",

"minimum_index_compatibility_version" : "6.0.0-beta1"

},

"tagline" : "You Know, for Search"

}

7.3 浏览器中访问

通过http://192.168.246.133:9200/,访问失败,需要做如下修改

修改elasticsearch.yml配置

编辑:vi /home/elasticsearch-7.17.9/config/elasticsearch.yml

增加或者修改配置如下:

network.host: 0.0.0.0

因修改此配置,可能在启动ES的时候,遇到以下错误,需要逐一进行修改配置如下:

A). max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

编辑 /etc/security/limits.conf

增加:

es soft nofile 65536

es hard nofile 65536

说明: soft nofile表示软限制,hard nofile表示硬限制。

ulimit -H -n

修改前,输出:4096

修改后,重新登录,输出:65536

B). max number of threads [3833] for user [es] is too low, increase to at least [4096]

编辑 /etc/security/limits.conf

增加:

es soft nproc 4096

es hard nproc 4096

ulimit -H -u

修改前,输出:3833

修改后,重新登录,输出:4096

C). max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

Elasticsearch 默认使用 mmapfs 目录存储其索引。 默认的操作系统对 mmap 计数的限制可能太低,这可能会导致内存不足异常。

可以执行如下命令,临时调整:

sysctl -w vm.max_map_count=262144

或者编辑 /etc/sysctl.conf 做永久性调整:

增加或者修改如下配置:

vm.max_map_count=262144

执行:sysctl -p

配置之后验证是否生效,请执行如下命令:

sysctl vm.max_map_count

输出为262144

D). the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

修改elasticsearch.yml配置

编辑:vi /home/elasticsearch-7.17.9/config/elasticsearch.yml

增加或者修改配置如下:

cluster.initial_master_nodes: ["node-1"]

再重新启动ES后,便可以通过浏览器正常访问了。

8.安装文件目录布局:

默认情况下,所有文件和目录都包含在 $ES_HOME 中,解压缩归档时创建的目录。

类型

描述

默认位置

设置

home

Elasticsearch 主目录或 $ES_HOME

通过解压缩归档创建的目录


bin

二进制脚本包括用于启动节点的 elasticsearch 和用于安装插件的 elasticsearch-plugin

$ES_HOME/bin


config

配置文件,包括

elasticsearch.yml

$ES_HOME/config

ES_PATH_CONF

data

节点上分配的每个索引/分片的数据文件的位置,可以容纳多个位置。

$ES_HOME/data

path.data

logs

log 文件位置

$ES_HOME/logs

path.logs

plugins

插件文件位置,每个插件都将包含在一个子目录中。

$ES_HOME/plugins


repo

共享文件系统存储库位置,可以容纳多个位置,文件系统存储库可以放在此处指定的任何目录的任何子目录中。


path.repo

script

脚本文件的位置

$ES_HOME/scripts

path.scripts

三.RPM包安装

  1. RPM安装

执行如下命令,进行安装

rpm -ivh elasticsearch-7.17.9-x86_64.rpm

warning: elasticsearch-7.17.9-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY

Preparing... ################################# [100%]

Creating elasticsearch group... OK

Creating elasticsearch user... OK

Updating / installing...

1:elasticsearch-0:7.17.9-1 ################################# [100%]

### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd

sudo systemctl daemon-reload

sudo systemctl enable elasticsearch.service

### You can start elasticsearch service by executing

sudo systemctl start elasticsearch.service

Created elasticsearch keystore in /etc/elasticsearch/elasticsearch.keystore

2.重载

执行如下命令,进行重载

sudo systemctl daemon-reload

3.开机启动

执行如下命令,使服务开机启动

sudo systemctl enable elasticsearch.service

[root@localhost installed_package]# sudo systemctl enable elasticsearch.service

Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

  1. 启动服务

sudo systemctl start elasticsearch.service

服务无法启动,报告:

Job for elasticsearch.service failed because the control process exited with error code. See "systemctl status elasticsearch.service" and "journalctl -xe" for details.

这里,我们直接查看错误日志:

cat /var/log/elasticsearch/elasticsearch.log

看到有如下错误信息:

[2023-03-07T10:57:26,651][ERROR][o.e.b.Bootstrap ] [localhost.localdomain] Exception

org.elasticsearch.ElasticsearchException: Failure running machine learning native code. This could be due to running on an unsupported OS or distribution, missing OS libraries, or a problem with the temp directory. To bypass this problem by running Elasticsearch without machine learning functionality set [xpack.ml.enabled: false].

同前面章节处理相同:

编辑:vi /etc/elasticsearch/elasticsearch.yml

在最后,追加如下配置:

xpack.ml.enabled: false # 注意“:”号存在空格!

再次启动服务

sudo systemctl start elasticsearch.service # 正常

sudo systemctl restart elasticsearch.service # 正常

sudo systemctl stop elasticsearch.service # 正常

5.验证

5.1 进程确认

执行如下命令:

ps aux | grep elasticsearch

如果看到如下信息输出,证明elasticsearch的确已经正常启动

5.2 Web确认

在等待一段时间后,执行如下命令:

curl "localhost:9200"

如果看到如下信息输出,证明elasticsearch的确已经正常启动

{

"name" : "localhost.localdomain",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "EdyzPpp0S1GwrPRYIKoYtQ",

"version" : {

"number" : "7.17.9",

"build_flavor" : "default",

"build_type" : "rpm",

"build_hash" : "ef48222227ee6b9e70e502f0f0daa52435ee634d",

"build_date" : "2023-01-31T05:34:43.305517834Z",

"build_snapshot" : false,

"lucene_version" : "8.11.1",

"minimum_wire_compatibility_version" : "6.8.0",

"minimum_index_compatibility_version" : "6.0.0-beta1"

},

"tagline" : "You Know, for Search"

}

注意: 与Tar包解压安装,可以看到build_type的值是不一样的。

5.3 浏览器中访问

通过http://192.168.246.134:9200/,同样也是访问失败,同时也一样需要做如下修改

修改elasticsearch.yml配置

编辑:vi /etc/elasticsearch/elasticsearch.yml

增加或者修改配置如下:

network.host: 0.0.0.0

但是与Tar包解压安装不同的是,在启动ES的时候,并不会同上面一样遇到那些错误,因为RPM安装,会帮助我们做一些参数设置。

下面,我们做一些简单的查看:

  1. vm.max_map_count检查

sysctl vm.max_map_count

  1. 查看配置文件/usr/lib/systemd/system/elasticsearch.service

可以看到有如下配置:

使用浏览器访问如下:

5.安装文件目录布局:

类型

描述

默认位置

设置

home

Elasticsearch 主目录或 $ES_HOME

/usr/share/elasticsearch


bin

二进制脚本包括用于启动节点的 elasticsearch 和用于安装插件的 elasticsearch-plugin

/usr/share/elasticsearch/bin


config

配置文件,包括

elasticsearch.yml

/etc/elasticsearch

ES_PATH_CONF

config

环境变量

/etc/sysconfig/elasticsearch


data

节点上分配的每个索引/分片的数据文件的位置,可以容纳多个位置。

/var/lib/elasticsearch

path.data

jdk

用于运行Elasticsearch的捆绑Java开发工具包,可以通过在

/etc/sysconfig/elasticsearch中设置环境变量ES_JAVA_HOME来覆盖

/usr/share/elasticsearch/jdk


logs

log 文件位置

/var/log/elasticsearch

path.logs

plugins

插件文件位置,每个插件都将包含在一个子目录中。

/usr/share/elasticsearch/plugins


repo

共享文件系统存储库位置,可以容纳多个位置,文件系统存储库可以放在此处指定的任何目录的任何子目录中。


path.repo

以上就是基本安装部署过程,及其可能遇到的错误的基本解决方法说明。

相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中,介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0,本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0,与之前安装C5进行对比。环境介绍:...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes,而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息;o架构:鲲鹏920(Kunpeng920)oOS:ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE:节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存,当然也有很多没有配置虚拟内存的,虚拟内存可以让我们的低配服务器使用更多的内存,可以减少很多硬件成本,比如我们运行很多服务的时候,内存常常会满,当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新,会自动升级系统内核,但是我们依旧可以通过命令行手动升级内核,以获取更好的性能和更多的硬件支持。具体操作:-添加PPAs使用以下命令添加PPAs:```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制(生产环境建议)1.查看宿主机可用内存bashfree-h#示例输出(假设宿主机剩余16GB可用内存)#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置(解决linux内存不够情况)背景介绍  Memory指机器物理内存,读写速度低于CPU一个量级,但是高于磁盘不止一个量级。所以,程序和数据如果在内存的话,会有非常快的读写速度。但是,内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时,要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低,则意味着需要更多的节点来满足需求,一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高,...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的,所以,作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道:地址映射内存管理的方式缺页异常先来看一些基本的知识,在进程看来,内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化,包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前,需要先掌握性能分析的思路和方法,找出问题,...

Linux Cgroups(Control Groups)原理

LinuxCgroups(ControlGroups)是内核提供的资源分配、限制和监控机制,通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析:一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互,允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为,包括网络设置、文件...

取消回复欢迎 发表评论: