Elasticsearch 安装配置

1

一、介绍

  Elasticsearch 是一个分布式、高扩展、高实时的全文搜索和数据分析引擎，基于RESTful web接口，使用Java语言开发的，是一款开源软件。
  Elasticsearch、Logstash（数据收集日志解析引擎）和Kibana（分析和可视化平台）一起被设计成一个集成解决方案，称为Elastic Stack（ELK），它能够安全可靠地获取各种类型格式的数据，并且实时地对数据进行搜索、分析和可视化。
  官方文档（7.10）：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
 

二、配置文件

相关配置文件

类型 描述 默认位置
home 主目录 /usr/share/elasticsearch
bin 二进制脚本，包括elasticsearch启动一个节点和elasticsearch-plugin来安装插件等。 /usr/share/elasticsearch/bin
conf 配置文件，包括主配置文件elasticsearch.yml等。 /etc/elasticsearch
conf 环境变量，包括堆大小、文件描述符等。 /etc/sysconfig/elasticsearch
data 节点上分配的每个索引/分片的数据文件的位置，可以保存多个位置。可通过主配置文件的path.data自定义。 /var/lib/elasticsearch
jdk JAVA开发工具包位置，用于运行Elasticsearch，可以通过在Java环境中设置JAVA_HOME来覆盖 /etc/sysconfig/elasticsearch 中设定的变量 /usr/share/elasticsearch/jdk
logs 日志文件位置，可通过主配置文件的path.logs自定义。 /var/log/elasticsearch
plugins 插件文件位置，每个插件都将包含在一个子目录中。 /usr/share/elasticsearch/plugins

其他配置文件：

[root@es01 ~]# rpm -qc elasticsearch
/etc/elasticsearch/elasticsearch.yml            # 主配置文件
/etc/elasticsearch/jvm.options                  # JVM配置文件（主要是内存设置）
/etc/elasticsearch/log4j2.properties            # 日志配置文件
/etc/elasticsearch/role_mapping.yml             # 索引的规则文件
/etc/elasticsearch/roles.yml                    # 规则文件
/etc/init.d/elasticsearch                       # 启动脚本
/etc/sysconfig/elasticsearch                    # 环境变量，包括堆大小、文件描述符。
/usr/lib/sysctl.d/elasticsearch.conf            # 库文件的配置
/usr/lib/systemd/system/elasticsearch.service   # systemd管理启动程序

 

三、安装

官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html

（1）安装JAVA环境
[root@es01 ~]# yum install -y java

（2）下载安装Elasticsearch
[root@es01 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-x86_64.rpm
[root@es01 ~]# rpm -vih elasticsearch-7.10.0-x86_64.rpm

（3）启动验证
[root@es01 ~]# systemctl start elasticsearch
[root@es01 ~]# netstat -ntlp
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name         
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      8568/java           
tcp6       0      0 ::1:9200                :::*                    LISTEN      8568/java           
tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      8568/java           
tcp6       0      0 ::1:9300                :::*                    LISTEN      8568/java           
[root@es01 ~]# curl 127.0.0.1:9200
{
  "name" : "es01",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "RvOKQG-xTjSh5KYT4haRdQ",
  "version" : {
    "number" : "7.10.0",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "51e9d6f22758d0374a0f3f5c6e8f3a7997850f96",
    "build_date" : "2020-11-09T21:30:33.964949Z",
    "build_snapshot" : false,
    "lucene_version" : "8.7.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

 

四、基本配置

  前面安装只是基本安装，都是默认配置，我们还要根据自身情况对Elasticsearch（以下简称ES）进行配置。当然如果是生产环境，就必须考虑更多的事项。

[root@es01 ~]# vim /etc/elasticsearch/elasticsearch.yml
#集群名称（设置集群名称，想要其他节点加入同一个集群必须集群名称相同，单节点可以不配置）
cluster.name: es-cluster

#节点名字（通过此配置项来区分集群中的所有节点）
node.name: es-1

#数据目录
path.data: /data/es/data

#日志目录
path.logs: /data/es/log

#开启内存锁（在CentOS7中支持内存锁并且要修改systemd管理ES的配置文件）
bootstrap.memory_lock: true

#监听地址
network.host: 10.0.0.5

#监听端口
http.port: 9200

#配置集群节点IP
discovery.seed_hosts: ["10.0.0.5"]

修改systemd管理ES的配置文件。

[root@elkstack01 ~]# vim /usr/lib/systemd/system/elasticsearch.service  # 添加以下配置
LimitMEMLOCK=infinity
[root@es01 ~]# systemctl daemon-reload

创建目录并授权

[root@es01 ~]# mkdir -p /data/es/{data,log}
[root@es01 ~]# chown -R elasticsearch.elasticsearch /data/es

启动测试

[root@es01 ~]# systemctl restart elasticsearch
[root@es01 ~]# curl 10.0.0.5:9200
{
  "name" : "es-1",
  "cluster_name" : "es-cluster",
  "cluster_uuid" : "mBrkZUAuSfit1JYjrKRwig",
  "version" : {
    "number" : "7.10.0",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "51e9d6f22758d0374a0f3f5c6e8f3a7997850f96",
    "build_date" : "2020-11-09T21:30:33.964949Z",
    "build_snapshot" : false,
    "lucene_version" : "8.7.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

 

五、重要配置详解

  官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/important-settings.html
  Elasticsearch只需很少的配置即可上手，但是在生产环境中使用集群之前，就必须考虑更多的事项。以下只详解以上配置用到的部分，其它请阅读官方文档。
 

1、集群名字设置

当节点与集群中的所有其它节点共享集群名称时，该节点只能加入此集群，集群默认名称是elasticsearch。

cluster.name: es-cluster

 

2、节点名字设置

ES使用节点名称作为ES特定实例的可读标识符，当ES启动时，节点名称默认为计算机的主机名。

node.name: es-1

  可以从单个节点上用相同的ES主目录启动多个节点，此设置对于测试ES形成集群的能力很有用，但不建议用于生产环境。
 

3、内存锁

  为了防止ES堆内存被换出，开启内存锁使用 mlockall 将进程地址空间锁定在RAM中。需要注意的是使用内存锁时，某些平台仍会交换堆外内存，为防止堆外内存交换，请禁用所有交换文件。

bootstrap.memory_lock: true

如果 mlockall 尝试分配的内存超过可用内存，则可能导致JVM或Shell会话退出，如下：

[ 128.909028] Out of memory: Kill process 7545 (java) score 279 or sacrifice child
[ 128.989845] Killed process 7787(controller) total-m:37948kB, anon-rss:8kB, file-rss:600kB, shme m-rss:0kB
[ 121.838354] Out of memory: Kill process 7545(java) score 279 or sacrifice child
[ 121.830373] Killed process 7545(java) total-m:2772612kB, anon-rss:642348kB, file-rss:228532kB, shmem-rss:0kB [ 121.831867] Out of memory: Kill process 7684 (java) score 279 or sacrifice child
[ 121.831883] Killed process 7684 (java) total-um:2772612kB, anon-rss:642736kB, file-rss:228688kB, shmem-rss:8kB

如果出现以下报错

[root@es01 ~]# tailf /data/es/log/es-cluster.log 
......
[2020-12-01T11:33:38,875][ERROR][o.e.b.Bootstrap          ] [es-1] node validation exception
[2] bootstrap checks failed
[1]: memory locking requested for elasticsearch process but memory is not locked
......

  最可能的原因是运行ES的用户无权锁定内存，对于RPM包安装使用systemd管理ES的，可以通过修改systemd管理ES的配置文件解决。

[root@elkstack01 ~]# vim /usr/lib/systemd/system/elasticsearch.service  # 添加以下配置
LimitMEMLOCK=infinity
[root@es01 ~]# systemctl daemon-reload

 

4、网络主机设置

  默认情况下，ES仅绑定到环回地址，例如127.0.0.1和[:: 1]，此绑定足以在服务器上运行单节点。要与其它服务器上的节点形成集群，节点需要绑定到非环回地址。

network.host: 10.0.0.5

 

5、发现和集群形成设置

发现和集群形成设置，主要是两个重要的配置，以便集群中的节点可以彼此发现并选举一个主节点。

（1）discovery.seed_hosts
  不做任何配置，ES将绑定到可用的环回地址，并扫描本地端口9300至9305以连接在同一服务器上运行的其它节点，此行为无需进行任何配置即可提供自动集群体验，可以用于测试ES形成集群的能力。
  如果要与其他主机上的节点形成集群，就需要对此配置进行设置。此配置提供了集群中其它符合主机资格的节点的列表，这些节点可能处于活动状态且可与之联系以传播发现过程。此配置接受YAML序列或群集中所有符合主机资格的节点的地址数组，每个地址可以是IP地址，也可以是通过DNS解析为一个或多个IP地址的主机名。如：

discovery.seed_hosts:
   - 192.168.1.10:9300
   - 192.168.1.11 
   - seeds.mydomain.com 
   - [0:0:0:0:0:ffff:c0a8:10c]:9301

端口是可选的，默认为9300，可以被覆盖。
如果主机名解析为多个IP地址，则该节点将尝试在所有解析的地址处发现它。
IPv6地址必须放在方括号中。

（2）cluster.initial_master_nodes
  当首次启动ES集群时，集群引导步骤将确定符合主节点资格的节点集中确定，节点集的票数将在第一次选举中进行计数。未配置发现设置，此步骤由节点自身自动执行。
  由于自动引导本质上是不安全的，因此在生产模式下启动新集群时，必须明确列出符合资格的主机，这些节点的票数会在首次选举中进行计数，然后选择票数最多的为主节点，使用“cluster.initial_master_nodes”来设置列表。

cluster.initial_master_nodes:
   - es-1
   - es-2
   - es-3

  此配置通过“node.name”来标识初始主节点，确保 “cluster.initial_master_nodes” 中的值与“node.name”完全匹配。
 

6、堆大小设置

  默认情况下，ES告诉JVM使用最小和最大的堆大小为1GB。 ES可用的堆越多，它可用于其内部缓存的内存就越多，但可供操作系统用于文件系统缓存的内存就越少。因此根据服务器自身情况设置合理的堆大小是非常重要。
  ES将为JVM分配指定堆大小。通过Xms（最小堆大小）和Xmx（最大堆大小）设置进行设置，这两个设置必须彼此相等。
  这些设置的值取决于服务器上可用的RAM大小。将Xmx和Xms设置为不超过物理RAM的50％， ES会出于JVM堆以外的目的而需要内存，因此为此留出内存空间是很重要。
  例如，ES使用堆外缓冲区来进行网络通信，依靠操作系统的文件系统缓存来访问文件，而JVM本身也需要一些内存。如果观察ES进程使用的内存多于Xmx设置配置的限制，这是正常的。
  我们可以通过jvm.options配置文件（位于/etc/elasticsearch下）来设定堆大小，单位可以是g可以是m。

[root@es01 ~]# vim /etc/elasticsearch/jvm.options
-Xms512m
-Xmx512m
1

发表回复

验证码： 8 + 1 =