企业级日志分析系统 ELK

← 上一章：微服务和消列队列 ｜ 返回总目录 ｜ 下一章：DevOps 之 GitLab 的CI →

内容概述

• ELK 概述

• Elasticsearch 管理

• Beats 实现日志收集

• Logstash 实现日志过滤转换

• Kibana 实现图形化展示

• ELK 综合案例

1 ELK 概述

1.1 ELK 介绍

1.1.1 什么是 ELK

ELK是由一家elastic公司开发的三个开源项目的首字母缩写

这三个项目分别是：Elasticsearch、Logstash 和 Kibana。三个项目各有不同的功能

之后又增加了许多新项目, 于是从5.X版本后改名为Elastic Stack

Elastic Stack 是一套适用于数据采集、扩充、存储、分析和可视化的免费开源工具。人们通常将 Elastic Stack 称为 ELK Stack（代指 Elasticsearch、Logstash 和 Kibana），目前 Elastic Stack 包括一系列丰富的轻量型数据采集代理，这些代理统称为 Beats，可用来向 Elasticsearch 发送数据。

Elasticsearch 是一个实时的全文搜索,存储库和分析引擎。

Logstash 是服务器端数据处理的管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。

Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。

ELK 版本演进: 0.X,1.X,2,X,5.X,6,X,7.X,8.X ....

官网： https://www.elastic.co/

ELK官方介绍：https://www.elastic.co/cn/what-is/elk-stack

ELK 下载链接：https://www.elastic.co/cn/downloads/

ELK 说明: https://www.elastic.co/guide/cn/index.html

ELK 权威指南: https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

ELK stack的主要优点：

• 功能强大：Elasticsearch是实时全文索引，具有强大的搜索功能

• 配置相对简单：Elasticsearch 全部其于 JSON，Logstash使用模块化配置，Kibana的配置都比较简单。

• 检索性能高效：基于优秀的设计，每次查询可以实时响应，即使百亿级数据的查询也能达到秒级响应。

• 集群线性扩展：Elasticsearch 和 Logstash都可以灵活线性扩展前端操作方便：Kibana提供了比较美观UI前端，操作也比较简单

官方下载

https://www.elastic.co/cn/downloads/

EFK 由ElasticSearch、Fluentd和Kiabana三个开源工具组成。Fluentd是一个实时开源的数据收集器,和 logstash功能相似,这三款开源工具的组合为日志数据提供了分布式的实时搜集与分析的监控系统。

Fluentd官网和文档:

https://www.fluentd.org/
https://docs.fluentd.org/

1.1.2 Elasticsearch

1.1.2.1 Elasticsearch 介绍

官方介绍

https://www.elastic.co/cn/what-is/elasticsearch

Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是 Elastic Stack 的核心组件

Elasticsearch 支持数据的实时全文搜索搜索、支持分布式和高可用、提供API接口，可以处理大规模的各种日志数据的处理，比如: Nginx、Tomcat、系统日志等功能。

Elasticsearch 基于 Java 语言开发，利用全文搜索引擎 Apache Lucene 实现

为何使用 Elasticsearch？

• Elasticsearch 很快。 由于 Elasticsearch 是在 Lucene 基础上构建而成的，所以在全文本搜索方面表现十分出色。Elasticsearch 同时还是一个近实时的搜索平台，这意味着从文档索引操作到文档变为可搜索状态之间的延时很短，一般只有一秒。因此，Elasticsearch 非常适用于对时间有严苛要求的用例，例如安全分析和基础设施监测。

• Elasticsearch 具有分布式的本质特征。 Elasticsearch 中存储的文档分布在不同的容器中，这些容器称为 ，可以进行复制以提供数据冗余副本，以防发生硬件故障。Elasticsearch 的分布式特性使得它可以扩展至数百台（甚至数千台）服务器，并处理 PB 量级的数据。

• Elasticsearch 包含一系列广泛的功能。 除了速度、可扩展性和弹性等优势以外，Elasticsearch 还有大量强大的内置功能（例如数据汇总和索引生命周期管理），可以方便用户更加高效地存储和搜索数据。

• Elastic Stack 简化了数据采集、可视化和报告过程。 通过与 Beats 和 Logstash 进行集成，用户能够在向 Elasticsearch 中索引数据之前轻松地处理数据。同时，Kibana 不仅可针对 Elasticsearch

数据提供实时可视化，同时还提供 UI 以便用户快速访问应用程序性能监测 (APM)、日志和基础设施指标等数据。

Elasticsearch 在速度和可扩展性方面都表现出色，而且还能够索引多种类型的内容，可用于多种场景：

• 应用程序搜索

• 网站搜索

• 企业搜索

• 日志处理和分析

• 基础设施指标和容器监测

• 应用程序性能监测

• 地理空间数据分析和可视化

• 安全分析

• 业务分析

1.1.2.2 原理

原始数据会从多个来源（包括日志、系统指标和网络应用程序）输入到 Elasticsearch 中。数据采集指在 Elasticsearch 中进行索引之前解析、标准化并充实这些原始数据的过程。这些数据在 Elasticsearch 中索引完成之后，用户便可针对他们的数据运行复杂的查询，并使用聚合来检索自身数据的复杂汇总。在 Kibana 中，用户可以基于自己的数据创建强大的可视化，分享仪表板，并对 Elastic Stack 进行管理。

Elasticsearch 索引指相互关联的文档集合。Elasticsearch 会以 JSON 文档的形式存储数据。每个文档都会在一组键（字段或属性的名称）和它们对应的值（字符串、数字、布尔值、日期、数组、地理位置或其他类型的数据）之间建立联系。

Elasticsearch 使用的是一种名为倒排索引的数据结构，这一结构的设计可以允许十分快速地进行全文本搜索。倒排索引会列出在所有文档中出现的每个特有词汇，并且可以找到包含每个词汇的全部文档。

在索引过程中，Elasticsearch 会存储文档并构建倒排索引，这样用户便可以近实时地对文档数据进行搜索。索引过程是在索引 API 中启动的，通过此 API 您既可向特定索引中添加 JSON 文档，也可更改特定索引中的 JSON 文档。

1.1.2.3 基本概念

Near Realtime(NRT) 几乎实时

Elasticsearch是一个几乎实时的搜索平台。意思是，从索引一个文档到这个文档可被搜索只需要一点点的延迟，这个时间一般为毫秒级。

Cluster 集群

群集是一个或多个节点（服务器）的集合， 这些节点共同保存整个数据，并在所有节点上提供联合索引和搜索功能。一个集群由一个唯一集群ID确定，并指定一个集群名（默认为“elasticsearch”）。该集群名非常重要，因为节点可以通过这个集群名加入群集，一个节点只能是群集的一部分。

确保在不同的环境中不要使用相同的群集名称，否则可能会导致连接错误的群集节点。

Node节点

节点是单个服务器实例，它是群集的一部分，可以存储数据，并参与群集的索引和搜索功能。就像一个集群，节点的名称默认为一个随机的通用唯一标识符（UUID），确定在启动时分配给该节点。如果不希望默认，可以定义任何节点名。这个名字对管理很重要，目的是要确定网络服务器对应于ElasticSearch 群集节点。

我们可以通过群集名配置节点以连接特定的群集。默认情况下，每个节点设置加入名为“elasticSearch” 的集群。这意味着如果启动多个节点在网络上，假设他们能发现彼此都会自动形成和加入一个名为 “elasticsearch”的集群。

在单个群集中，您可以拥有尽可能多的节点。此外，如果“elasticsearch”在同一个网络中，没有其他节点正在运行，从单个节点的默认情况下会形成一个新的单节点名为"elasticsearch"的集群。

Index 索引

索引是具有相似特性的文档集合。例如，可以为客户数据提供索引，为产品目录建立另一个索引，以及为订单数据建立另一个索引。索引由名称（必须全部为小写）标识，该名称用于在对其中的文档执行索引、搜索、更新和删除操作时引用索引。在单个群集中，您可以定义尽可能多的索引。

注意: 索引名不支持大写字母

Type类型

在索引中，可以定义一个或多个类型。类型是索引的逻辑类别/分区，其语义完全取决于您。一般来说， 类型定义为具有公共字段集的文档。例如，假设你运行一个博客平台，并将所有数据存储在一个索引中。在这个索引中，您可以为用户数据定义一种类型，为博客数据定义另一种类型，以及为注释数据定义另一类型。

Document 文档

文档是可以被索引的信息的基本单位。例如，您可以为单个客户提供一个文档，单个产品提供另一个文档，以及单个订单提供另一个文档。本文件的表示形式为JSON（JavaScript Object Notation）格式，这是一种非常普遍的互联网数据交换格式。

在索引/类型中，您可以存储尽可能多的文档。请注意，尽管文档物理驻留在索引中，文档实际上必须索引或分配到索引中的类型。

Shards & Replicas 分片与副本

索引可以存储大量的数据，这些数据可能超过单个节点的硬件限制。例如，十亿个文件占用磁盘空间 1TB的单指标可能不适合对单个节点的磁盘, 或者仅从单个节点的搜索请求服务可能太慢

为了解决这一问题，Elasticsearch提供细分指标分成多个块称为分片的能力。当创建一个索引，可以简单地定义想要的分片数量。每个分片本身是一个全功能的、独立的“指数”，可以托管在集群中的任何节点。

Shards分片的重要性主要体现在以下两个特征：

分片允许您水平拆分或缩放内容的大小

分片允许你分配和并行操作的碎片（可能在多个节点上）从而提高性能/吞吐量

这个机制中的碎片是分布式的以及其文件汇总到搜索请求是完全由ElasticSearch管理，对用户来说是透明的。

在同一个集群网络或云环境上，故障是任何时候都会出现的，拥有一个故障转移机制以防分片和结点因为某些原因离线或消失是非常有用的，并且被强烈推荐。为此，Elasticsearch允许你创建一个或多个拷贝，索引分片进入所谓的副本或称作复制品的分片，简称Replicas。

Replicas的重要性主要体现在以下两个特征：

• 副本为分片或节点失败提供了高可用性。为此，需要注意的是，一个副本的分片不会分配在同一个节点作为原始的或主分片，副本是从主分片那里复制过来的。

• 副本允许用户扩展你的搜索量或吞吐量，因为搜索可以在所有副本上并行执行。

相关概念在关系型数据库和ElasticSearch中的对应关系

详细说明：

1.1.3 Logstash

https://www.elastic.co/cn/what-is/elasticsearch

Logstash 是 Elastic Stack 的核心产品之一，可用来对数据进行聚合和处理，并将数据发送到 Elasticsearch。Logstash 是一个基于Java实现的开源的服务器端数据处理管道，允许您在将数据索引到 Elasticsearch 之前同时从多个来源采集数据，并对数据进行过滤和转换。

可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。

1.1.4 Kibana

Kibana 是一款适用于 Elasticsearch 的基于Javascript语言实现的数据可视化和管理工具，可以提供实时的直方图、线形图、饼状图和地图。Kibana 同时还包括诸如 Canvas 和 Elastic Maps 等高级应用程序； Canvas 允许用户基于自身数据创建定制的动态信息图表，而 Elastic Maps 则可用来对地理空间数据进行可视化。

官方文档

https://www.elastic.co/cn/what-is/kibana

主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。

Kibana 与 Elasticsearch 和更广意义上的 Elastic Stack 紧密的集成在一起，这一点使其成为支持以下场景的理想选择：

搜索、查看并可视化 Elasticsearch 中所索引的数据，并通过创建柱状图、饼图、表格、直方图和地图对数据进行分析。仪表板视图能将这些可视化元素组织到一起，然后通过浏览器进行分享，以提供对海量数据的实时分析视图，所支持的用例如下：

1. 日志处理和分析

2. 基础设施指标和容器监测

3. 应用程序性能监测 (APM)

4. 地理空间数据分析和可视化

5. 安全分析

6. 业务分析

借助网络界面来监测和管理 Elastic Stack 实例并确保实例的安全

针对基于 Elastic Stack 开发的内置解决方案（面向可观测性、安全和企业搜索应用程序），将其访问权限集中到一起

1.2 ELK 应用场景

运维主要应用场景：

• 将分布在不同主机的日志统一收集,并进行转换，通过集中的Web UI 进行查询和管理通过查看汇总的日志,找到故障的根本原因

• Web 展示和报表功能

• 实现安全和事件等管理

大数据运维主要应用场景：

• 查询聚合, 大屏分析

• 预测告警, 网络指标，业务指标安全指标

• 日志查询，问题排查，基于API可以实现故障恢复和自愈

• 用户行为,性能,业务分析

1.3 ELK 应用架构

• 2 Elasticsearch 部署和管理

Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据

Elasticsearch 基于 Java 语言实现

2.1 Elasticsearch 安装说明

官方文档

https://www.elastic.co/guide/en/elastic-stack/index.html
https://www.elastic.co/guide/en/elasticsearch/reference/master/install-
elasticsearch.html

部署方式

包安装

二进制安装

Docker 部署

Ansible 批量部署

ES支持操作系统版本和 Java 版本官方说明

https://www.elastic.co/cn/support/matrix

2.2 安装前准备

2.2.1 安装前环境初始化

CPU2C内存4G或更多
操作系统: Ubuntu20.04,Ubuntu18.04,Rocky8.X,Centos 7.X
操作系统盘50G
主机名设置规则为nodeX.wang.org
生产环境建议准备单独的数据磁盘

2.2.1.1 主机名

#各服务器配置自己的主机名

[root@ubuntu1804 ~]# hostnamectl set-hostname es-node1.wang.org

2.2.1.2 关闭防火墙和SELinux

关闭防所有服务器的防火墙和 SELinux

#RHEL系列的系统执行下以下配置

[root@es-node1 ~]# systemctl disable firewalld
[root@es-node1 ~]# systemctl  disable NetworkManager
[root@es-node1 ~]# sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
[root@es-node1 ~]# reboot

2.2.1.3 各服务器配置本地域名解析

[root@es-node1 ~]# vim /etc/hosts
10.0.0.101 es-node1.wang.org
10.0.0.102 es-node2.wang.org
10.0.0.103 es-node3.wang.org

2.2.1.5 优化资源限制配置

2.2.1.5.1 修改内核参数

内核参数 vm.max_map_count 用于限制一个进程可以拥有的VMA(虚拟内存区域)的数量

使用默认系统配置，二进制安装时会提示下面错误，包安装会自动修改此配置

#查看默认值

[root@es-node1 ~]#sysctl  -a |grep vm.max_map_count
vm.max_map_count =65530

#修改配置

[root@es-node1 ~]#echo "vm.max_map_count = 262144" >> /etc/sysctl.conf
[root@es-node1 ~]#echo "fs.file-max = 1000000" >> /etc/sysctl.conf
[root@es-node1 ~]#sysctl  -p
vm.max_map_count =262144

范例: Ubuntu 基于包安装后会自动修改文件

[root@node1 ~]#cat /usr/lib/sysctl.d/elasticsearch.conf
vm.max_map_count=262144

2.2.1.5.2 修改资源限制配置

[root@es-node1 ~]#vi /etc/security/limits.conf

*                soft    core            unlimited
*                hard    core            unlimited
*                soft    nproc           1000000
*                hard    nproc           1000000
*                soft    nofile          1000000
*                hard    nofile          1000000
*                soft    memlock         32000
*                hard    memlock         32000
*                soft    msgqueue        8192000
*                hard    msgqueue        8192000

2.2.2 安装 Java 环境 (可选)

Elasticsearch 是基于java的应用,所以依赖JDK环境

注意: 安装7.X以后版本官方建议要安装集成JDK的包,所以无需再专门安装 JDK

关于JDK环境说明

1.x 2.x 5.x 6.x都没有集成JDK的安装包，也就是需要自己安装java环境

7.x的安装包分为带JDK和不带JDK两种包，带JDK的包在安装时不需要再安装java，如果不带JDK的包仍然需
要自己去安装java

如果安装no-jdk的包,才需要安装java环境

官网JAVA版支持说明

https://www.elastic.co/cn/support/matrix#matrix_jvm

因为 Elasticsearch 服务运行需要 Java环境，如果要安装没有JDK的包，需要提前安装JAVA环境，可以使用以下方式安装

如果没有java 环间,安装elasticsearch时会出下面错误提示

[root@node1 ~]#dpkg -i elasticsearch-7.14.0-no-jdk-amd64.deb
Selecting previously unselected package elasticsearch.

(Reading database ... 71513 files and directories currently installed.)
Preparing to unpack elasticsearch-7.14.0-no-jdk-amd64.deb ...
Creating elasticsearch group... OK
Creating elasticsearch user... OK
Unpacking elasticsearch (7.14.0) ...
Setting up elasticsearch (7.14.0) ...
### NOT starting on installation, please execute the following statements to
configure elasticsearch service to start automatically using systemd
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
sudo systemctl start elasticsearch.service
could not find java in bundled JDK at /usr/share/elasticsearch/jdk/bin/java
dpkg: error processing package elasticsearch (--install):
 installed elasticsearch package post-installation script subprocess returned
error exit status 1
Processing triggers for ureadahead (0.100.0-21) ...
Processing triggers for systemd (237-3ubuntu10.42) ...
Errors were encountered while processing:
 elasticsearch

方式一：直接使用yum/apt安装openjdk

[root@es-node1 ~]#yum -y install java-1.8.0-openjdk
[root@es-node1 ~]#apt update;apt -y install openjdk-8-jdk

方式二：本地安装在oracle官网下载rpm安装包：

[root@es-node1 ~]# yum -y install jdk-8u92-linux-x64.rpm

方式三：安装二进制包并自定义环境变量

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151. html

[root@es-node1 ~]# tar xvf jdk-8u121-linux-x64.tar.gz -C /usr/local/
[root@es-node1 ~]# ln -sv /usr/local/jdk1.8.0_121 /usr/local/jdk
[root@es-node1 ~]# ln -sv /usr/local/jdk/bin/java /usr/bin/
[root@es-node1 ~]# vim /etc/profile
exportHISTTIMEFORMAT="%F %T `whoami` "
exportJAVA_HOME=/usr/local/jdk
export
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools
.jar
exportPATH=$PATH:$JAVA_HOME/bin
[root@es-node1 ~]# source /etc/profile
[root@es-node1 ~]# java -version
java version "1.8.0_121"#确认可以出现当前的java版本号
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

2.3 Elasticsearch 安装

有两种包: 包含jdk和no-jdk的包

注意: 官方提示no-jdk的包将被淘汰,建议使用包含JDK的包

下载地址：

#包含JDK的版本下载
https://www.elastic.co/downloads/elasticsearch
https://mirrors.tuna.tsinghua.edu.cn/elasticstack/
#不包含JDK的版本下载
https://www.elastic.co/cn/downloads/elasticsearch-no-jdk

范例: 查看两种包

[root@node1 ~]#ll -h elasticsearch-7.14.0-*
-rw-r--r--1 root root 329M Aug 1519:39 elasticsearch-7.14.0-amd64.deb
-rw-r--r--1 root root 183M Aug 1519:38 elasticsearch-7.14.0-no-jdk-amd64.deb

2.3.1 包安装 Elasticsearch

2.3.1.1 安装 Elasticsearch 包

下载链接

https://mirrors.tuna.tsinghua.edu.cn/elasticstack/

CentOS 7 安装 Elasticsearch

[root@centos7 ~]#yum -y install elasticsearch-7.6.2-x86_64.rpm

Ubuntu18.04 安装 Elasticsearch

[root@ubuntu1804 ~]#dpkg -i elasticsearch-7.6.2-amd64.deb

范例: Ubuntu 安装包含JDK的elasticsearch 包

[root@node1 ~]#dpkg -i elasticsearch-7.14.0-amd64.deb
[root@node1 ~]#systemctl daemon-reload
[root@node1 ~]#systemctl enable --now elasticsearch.service
[root@node1 ~]#pstree -p |grep java
           |-java(1341)-+-controller(1538)-+-{controller}(1540)
           |            |-{java}(1519)
           |            |-{java}(1520)
           |            |-{java}(1521)
           |            |-{java}(1522)
[root@node1 ~]#ss -ntl
State  Recv-Q  Send-Q       Local Address:Port   Peer Address:Port
LISTEN 0128127.0.0.53%lo:53          0.0.0.0:*
LISTEN 01280.0.0.0:22          0.0.0.0:*
LISTEN 0128127.0.0.1:6010        0.0.0.0:*
LISTEN 0128127.0.0.1:6011        0.0.0.0:*
LISTEN 0128     [::ffff:127.0.0.1]:9200              *:*
LISTEN 0128                  [::1]:9200           [::]:*
LISTEN 0128     [::ffff:127.0.0.1]:9300              *:*

LISTEN 0128                  [::1]:9300           [::]:*
LISTEN 0128                   [::]:22             [::]:*
LISTEN 0128                  [::1]:6010           [::]:*
LISTEN 0128                  [::1]:6011           [::]:*
[root@node1 ~]#ss -ntlp|grep java
LISTEN  0128  [::ffff:127.0.0.1]:9200     *:*       users:
(("java",pid=1341,fd=287))
LISTEN  0128               [::1]:9200  [::]:*       users:
(("java",pid=1341,fd=286))
LISTEN  0128  [::ffff:127.0.0.1]:9300     *:*       users:
(("java",pid=1341,fd=284))
LISTEN  0128               [::1]:9300  [::]:*       users:
(("java",pid=1341,fd=283))
[root@node1 ~]#curl 127.0.0.1:9200
{
"name" : "node1.wang.org",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "vvp4iBkkTfOJPf_rtcE0Og",
"version" : {
"number" : "7.14.0",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "dd5a0a2acaa2045ff9624f3729fc8a6f40835aa1",
"build_date" : "2021-07-29T20:49:32.864135063Z",
"build_snapshot" : false,
"lucene_version" : "8.9.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
  },
"tagline" : "You Know, for Search"
}
[root@node1 ~]#curl 127.0.0.1:9300
This is not an HTTP port

范例: Ubuntu 安装不包含 JDK 的elasticsearch 包

[root@ubuntu1804 ~]#apt update
[root@ubuntu1804 ~]#apt -y install openjdk-8-jdk
#默认无法找到Java,安装失败
[root@ubuntu1804 ~]#dpkg -i elasticsearch-7.14.0-no-jdk-amd64.deb
update-alternatives: using /usr/lib/jvm/java-8-openjdk-amd64/bin/appletviewer to
provide /usr/bin/appletviewer (appletviewer) in auto mode
update-alternatives: using /usr/lib/jvm/java-8-openjdk-amd64/bin/jconsole to
provide /usr/bin/jconsole (jconsole) in auto mode
Processing triggers for libgdk-pixbuf2.0-0:amd64 (2.36.11-2) ...
Processing triggers for libc-bin (2.27-3ubuntu1.2) ...
Errors were encountered while processing:
 elasticsearch
E: Sub-process /usr/bin/dpkg returned an error code (1)
(Reading database ... 88094 files and directories currently installed.)
Preparing to unpack elasticsearch-7.14.0-no-jdk-amd64.deb ...
Unpacking elasticsearch (7.14.0) over (7.14.0) ...
Setting up elasticsearch (7.14.0) ...

### NOT starting on installation, please execute the following statements to
configure elasticsearch service to start automatically using systemd
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
sudo systemctl start elasticsearch.service
could not find java in bundled JDK at /usr/share/elasticsearch/jdk/bin/java
dpkg: error processing package elasticsearch (--install):
 installed elasticsearch package post-installation script subprocess returned
error exit status 1
Processing triggers for ureadahead (0.100.0-21) ...
Processing triggers for systemd (237-3ubuntu10.42) ...
Errors were encountered while processing:
 elasticsearch
[root@ubuntu1804 ~]#java -version
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-8u292-b10-0ubuntu1~18.04-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)
[root@ubuntu1804 ~]#which java
/usr/bin/java

#配置JAVA环境
[root@ubuntu1804 ~]#mkdir /usr/share/elasticsearch/jdk/bin/ -p
[root@ubuntu1804 ~]#ln -s /usr/bin/java /usr/share/elasticsearch/jdk/bin/java
#提示非no-jdk的发行版将被淘汰,建议使用包含JDK的包
[root@ubuntu1804 ~]#dpkg -i elasticsearch-7.14.0-no-jdk-amd64.deb
(Reading database ... 88094 files and directories currently installed.)
Preparing to unpack elasticsearch-7.14.0-no-jdk-amd64.deb ...
Unpacking elasticsearch (7.14.0) over (7.14.0) ...
Setting up elasticsearch (7.14.0) ...
### NOT starting on installation, please execute the following statements to
configure elasticsearch service to start automatically using systemd
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
sudo systemctl start elasticsearch.service
Future versions of Elasticsearch will require Java 11; your Java version from
[/usr/lib/jvm/java-8-openjdk-amd64/jre] does not meet this requirement. Consider
switching to a distribution of Elasticsearch with a bundled JDK. If you are
already using a distribution with a bundled JDK, ensure the JAVA_HOME environment
variable is not set.
warning: no-jdk distributions that do not bundle a JDK are deprecated and will
be removed in a future release
Created elasticsearch keystore in /etc/elasticsearch/elasticsearch.keystore
Processing triggers for ureadahead (0.100.0-21) ...
Processing triggers for systemd (237-3ubuntu10.42) ...

[root@ubuntu1804 ~]#systemctl daemon-reload
[root@ubuntu1804 ~]#systemctl enable --now elasticsearch.service
Synchronizing state of elasticsearch.service with SysV service script with
/lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install enable elasticsearch
Created symlink /etc/systemd/system/multi-user.target.wants/elasticsearch.service
→ /usr/lib/systemd/system/elasticsearch.service.

[root@ubuntu1804 ~]#curl 127.0.0.1:9200

{
"name" : "node2.wang.org",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "hNlDtBjMTyerjIBt2dNjKg",
"version" : {
"number" : "7.14.0",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "dd5a0a2acaa2045ff9624f3729fc8a6f40835aa1",
"build_date" : "2021-07-29T20:49:32.864135063Z",
"build_snapshot" : false,
"lucene_version" : "8.9.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
  },
"tagline" : "You Know, for Search"
}

2.3.1.2 编辑服务配置文件

参考文档：

https://www.ibm.com/support/knowledgecenter/zh/SSFPJS_8.5.6/com.ibm.wbpm.main.do
c/topics/rfps_esearch_configoptions.html

https://www.elastic.co/guide/en/elasticsearch/reference/index.html
https://www.elastic.co/guide/en/elasticsearch/reference/master/settings.html
https://www.elastic.co/guide/en/elasticsearch/reference/master/important-
settings.html

配置文件说明

[root@es-node1 ~]# grep "^[a-Z]"  /etc/elasticsearch/elasticsearch.yml
#ELK集群名称，同一个集群内每个节点的此项必须相同,新加集群的节点此项和其它节点相同即可加入集群,而
无需再验证
cluster.name: ELK-Cluster
#当前节点在集群内的节点名称，同一集群中每个节点要确保此名称唯一
node.name: es-node1
#ES 数据保存目录
path.data: /data/es-data
#ES 日志保存目录
path.logs: /data/es-logs
#服务启动的时候立即分配(锁定)足够的内存，防止数据写入swap,提高启动速度
bootstrap.memory_lock: true
#指定监听IP，如果绑定了错误的IP，可将此修改为指定IP
network.host: 0.0.0.0
#监听端口
http.port: 9200
#发现集群的node节点列表，可以添加部分或全部节点IP

#在新增节点到集群时,此处需指定至少一个已经在集群中的节点地址
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]

#集群初始化时指定希望哪些节点可以被选举为 master,只在初始化时使用,新加节点到已有集群时此项可不
配置
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]

#一个集群中的 N 个节点启动后,才允许进行数据恢复处理，默认是1,一般设为为所有节点的一半以上,防止
出现脑裂现象
#当集群无法启动时,可以将之修改为1,或者将下面行注释掉,实现快速恢复启动
gateway.recover_after_nodes: 2

#设置是否可以通过正则表达式或者_all匹配索引库进行删除或者关闭索引库，默认true表示必须需要明确指
定索引库名称，不能使用正则表达式和_all，生产环境建议设置为 true，防止误删索引库。
action.destructive_requires_name: true

#不参与主节点选举
node.master: false
#存储数据,此值为false则不存储数据而成为一个路由节点
#如果将true改为false,需要先执行/usr/share/elasticsearch/bin/elasticsearch-node
repurpose 清理数据
node.data: true
#7.x以后版本下面指令已废弃，在2.x 5.x 6.x 版本中用于配置节点发现列表
discovery.zen.ping.unicast.hosts: ["10.0.0.101", "10.0.0.102","10.0.0.103"]

范例: 单节点配置

[root@ubuntu2004 ~]#grep -v '#'  /etc/elasticsearch/elasticsearch.yml
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
node.name: node-1
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.100"]
cluster.initial_master_nodes: ["node-1"]

范例: 集群配置

[root@es-node1 ~]#grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node1
path.data: /data/es-data
path.logs: /data/es-logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2
action.destructive_requires_name: true
[root@es-node1 ~]#scp /etc/elasticsearch/elasticsearch.yml es-
node2:/etc/elasticsearch/
[root@es-node1 ~]#scp /etc/elasticsearch/elasticsearch.yml es-
node3:/etc/elasticsearch/

[root@es-node2 ~]#grep -v "#" /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node2          #只需要修改此行，每个节点都不能相同
path.data: /data/es-data
path.logs: /data/es-logs
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2
[root@es-node3 ~]#grep -v "#" /etc/elasticsearch/elasticsearch.yml
cluster.name: es-cluster     #与es-node1相同
node.name: es-node3          #修改此行，与es-node2不能相同
path.data: /data/es-data
path.logs: /data/es-logs
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2

开启 b ot srap. m e o

导致无法启动的错误解决方法

官方文档:

https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-
configuration-memory.html#bootstrap-memory_lock
https://www.elastic.co/guide/en/elasticsearch/reference/current/setting-system-
settings.html#systemd

[root@node1 ~]#vim /etc/elasticsearch/elasticsearch.yml
#开启此功能导致无法启动

bootstrap.memory_lock: true

[root@node1 ~]#systemctl restart elasticsearch.service
Job for elasticsearch.service failed because the control process exited with
error code.

See "systemctl status elasticsearch.service" and "journalctl -xe"for details.

[root@node1 ~]#tail /data/es-logs/es-cluster.log

[2021-08-15T22:21:13,600][INFO ][o.e.t.TransportService   ] [node-1]
publish_address {10.0.0.101:9300}, bound_addresses {[::]:9300}
[2021-08-15T22:21:13,911][INFO ][o.e.b.BootstrapChecks    ] [node-1] bound or
publishing to a non-loopback address, enforcing bootstrap checks
[2021-08-15T22:21:13,934][ERROR][o.e.b.Bootstrap          ] [node-1] node
validation exception

[1] bootstrap checks failed. You must address the points described in the
following [1] lines before starting Elasticsearch.
bootstrap check failure [1] of [1]: memory locking requested for elasticsearch
process but memory is not locked

[2021-08-15T22:21:13,941][INFO ][o.e.n.Node               ] [node-1] stopping
...
[2021-08-15T22:21:13,955][INFO ][o.e.n.Node               ] [node-1] stopped
[2021-08-15T22:21:13,955][INFO ][o.e.n.Node               ] [node-1] closing ...
[2021-08-15T22:21:13,970][INFO ][o.e.n.Node               ] [node-1] closed
[2021-08-15T22:21:13,971][INFO ][o.e.x.m.p.NativeController] [node-1] Native
controller process has stopped - no new native processes can be started

[root@node1 ~]#systemctl edit elasticsearch

[Service]
LimitMEMLOCK=infinity

[root@node1 ~]#cat /etc/systemd/system/elasticsearch.service.d/override.conf
[Service]

LimitMEMLOCK=infinity
[root@node1 ~]#systemctl daemon-reload
[root@node1 ~]#systemctl restart elasticsearch.service
[root@node1 ~]#systemctl is-active elasticsearch.service
active

2.3.1.3 优化 ELK 资源配置

官方文档：

https://www.elastic.co/guide/en/elasticsearch/reference/current/important-
settings.html#heap-size-settings

推荐使用宿主机物理内存的一半，ES的heap内存最大不超过30G,26G是比较安全的

官方文档:

https://www.elastic.co/guide/en/elasticsearch/reference/master/advanced-
configuration.html#set-jvm-heap-size

The heap size should be based on the available RAM:

Set Xms and Xmx to no more than 50% of your total memory. Elasticsearch requires
memory for purposes other than the JVM heap. For example, Elasticsearch uses off-
heap buffers for efficient network communication and relies on the operating
system’s filesystem cache for efficient access to files. The JVM itself also
requires some memory. It’s normal for Elasticsearch to use more memory than the
limit configured with the Xmx setting.

When running in a container, such as Docker, total memory is defined as the
amount of memory visible to the container, not the total system memory on the
host.

Set Xms and Xmx to no more than the threshold for compressed ordinary object
pointers (oops). The exact threshold varies but 26GB is safe on most systems and
can be as large as 30GB on some systems. To verify you are under the threshold,
check the Elasticsearch log for an entry like this:

堆大小应基于可用 RAM ：

将 Xms 和 Xmx 设置为不超过总内存的 50%。 Elasticsearch 需要内存用于 JVM 堆以外的用途。例
如，Elasticsearch 使用堆外缓冲区来实现高效的网络通信，并依靠操作系统的文件系统缓存来高效地访问
文件。 JVM 本身也需要一些内存。 Elasticsearch 使用比 Xmx 设置配置的限制更多的内存是正常的。

在容器（例如 Docker）中运行时，总内存定义为容器可见的内存量，而不是主机上的总系统内存。

将 Xms 和 Xmx 设置为不超过压缩普通对象指针 (oops) 的阈值。确切的阈值会有所不同，但在大多数系
统上 26GB 是安全的，在某些系统上可能高达 30GB。要验证您是否低于阈值，请检查 Elasticsearch
日志中的条目，如下所示：

关于OOPS的说明

Managed pointers in the Java heap point to objects which are aligned on 8-byte
address boundaries. Compressed oops represent managed pointers (in many but not
all places in the JVM software) as 32-bit object offsets from the 64-bit Java
heap base address.

Because they're object offsets rather than byte offsets, they can be used to
address up to four billion objects (not bytes), or a heap size of up to about 32
gigabytes.

To use them, they must be scaled by a factor of 8 and added to the Java heap base
address to find the object to which they refer. Object sizes using compressed
oops are comparable to those in ILP32 mode.

Java 堆中的托管指针指向在 8 字节地址边界上对齐的对象。压缩 oop 将托管指针（在 JVM 软件中的许
多但不是所有地方）表示为相对于 64 位 Java 堆基地址的 32 位对象偏移量。
因为它们是对象偏移量而不是字节偏移量，所以它们可用于处理多达 40 亿个对象（不是字节），或高达约
32 GB 的堆大小。

要使用它们，必须将它们缩放 8 倍并添加到 Java 堆基地址以找到它们所引用的对象。使用压缩 oop 的
对象大小与 ILP32 模式中的对象大小相当。

内存优化建议:

为了保证性能，每个ES节点的JVM内存设置具体要根据 node 要存储的数据量来估算,建议符合下面约定

• 在内存和数据量有一个建议的比例：对于一般日志类文件，1G 内存能存储48G~96GB数据 JVM 堆内存最大不要超过30GB

对于主分片的数量，单个分片控制在30-50GB

范例:

假设总数据量为1TB，3个node节点，1个副本；那么实际要存储的大小为2TB
每个节点需要存储的数据量为:2TB / 3 = 700GB，然后每个节点需要预留20%的空间，意味着每个node要
存储大约 875GB 的数据；按照内存与存储数据的比率计算：875GB/48GB=18，即需要JVM内存为18GB,小
于30GB

因为要尽量控制主分片的大小为30GB；875GB/30GB=30个主分片,即最多30个主分片

范例：指定heap内存最小和最大内存限制

#建议将heap内存设置为物理内存的一半且最小和最大设置一样大,但最大不能超过30G
[root@es-node1 ~]# vim /etc/elasticsearch/jvm.options
-Xms2g
-Xmx2g

#每天1TB左右的数据量的建议服务器配置
16C 64G 6T硬盘共3台服务器

范例： 修改service文件，做优化配置

[root@es-node1 ~]# vim /usr/lib/systemd/system/elasticsearch.service #修改内存限制
LimitNOFILE=1000000#修改最大打开的文件数，默认值为65535
LimitNPROC=65535#修改打开最大的进程数，默认值为4096
LimitMEMLOCK=infinity #无限制使用内存，以前旧版需要修改，否则无法启动服务，当前版本无需修改

内存锁定的配置参数：

https://discuss.elastic.co/t/memory-lock-not-working/70576

2.3.1.4 目录权限更改

在各个ES服务器创建数据和日志目录并修改目录权限为elasticsearch

#此步可选,可以不用创建下面目录es-data和es-logs，系统可以自动创建
[root@es-node1 ~]# mkdir -p /data/es-{data,logs}
[root@es-node1 ~]# ll /data/
total 0
drwxr-xr-x 2 root root 6 Apr 1818:44 es-data
drwxr-xr-x 2 root root 6 Apr 1818:44 es-logs

#必须分配权限，否则服务无法启动
[root@es-node1 ~]# chown  -R elasticsearch.elasticsearch /data/
[root@es-node1 ~]# ll /data/
total 0
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 1818:44 es-data
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 1818:44 es-logs

2.3.1.5 启动 Elasticsearch服务并验证

[root@ubuntu-node1 ~]#grep -Ev '^$|#'
/usr/lib/systemd/system/elasticsearch.service
[Unit]
Description=Elasticsearch
Documentation=https://www.elastic.co
Wants=network-online.target
After=network-online.target
[Service]
Type=notify
RuntimeDirectory=elasticsearch
PrivateTmp=true
Environment=ES_HOME=/usr/share/elasticsearch
Environment=ES_PATH_CONF=/etc/elasticsearch
Environment=PID_DIR=/var/run/elasticsearch
Environment=ES_SD_NOTIFY=true
EnvironmentFile=-/etc/default/elasticsearch
WorkingDirectory=/usr/share/elasticsearch
User=elasticsearch
Group=elasticsearch
ExecStart=/usr/share/elasticsearch/bin/systemd-entrypoint -p
${PID_DIR}/elasticsearch.pid --quiet
StandardOutput=journal
StandardError=inherit
LimitNOFILE=65535
LimitNPROC=4096
LimitAS=infinity
LimitFSIZE=infinity
TimeoutStopSec=0
KillSignal=SIGTERM
KillMode=process
SendSIGKILL=no
SuccessExitStatus=143
TimeoutStartSec=75
[Install]

WantedBy=multi-user.target

[root@es-node1 ~]#systemctl enable --now  elasticsearch
[root@es-node1 ~]#tail -f /data/es-logs/es-cluster.log

2.3.1.6 验证端口监听成功

#9200端口集群访问端口,9300集群同步端口
[root@es-node1 ~]#ss -ntlp|grep java
LISTEN   0128                       *:9200                   *:*
users:(("java",pid=2372,fd=225))
LISTEN   0128                       *:9300                   *:*
users:(("java",pid=2372,fd=211))

2.3.1.7 通过浏览器访问 Elasticsearch 服务端口

[root@es-node1 ~]#curl 127.0.0.1:9200
{
"name" : "es-node1",
"cluster_name" : "es-cluster",
"cluster_uuid" : "_na_",
"version" : {
"number" : "7.6.2",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
"build_date" : "2020-03-26T06:34:37.794943Z",
"build_snapshot" : false,
"lucene_version" : "8.4.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
  },
"tagline" : "You Know, for Search"
}

2.3.2 二进制安装 Elasticsearch

官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/master/targz.html

2.3.2.1 下载二进制文件

下载二进制文件

https://www.elastic.co/cn/downloads/elasticsearch

范例： 基于二进制包含JDK文件安装

[root@ubuntu1804 ~]#ls
elasticsearch-7.6.2-linux-x86_64.tar.gz
[root@ubuntu1804 ~]#tar xf elasticsearch-7.6.2-linux-x86_64.tar.gz  -C
/usr/local/
[root@ubuntu1804 ~]#ls /usr/local/
bin  elasticsearch-7.6.2  etc  games  include  lib  man  sbin  share  src
[root@ubuntu1804 ~]#ln -s /usr/local/elasticsearch-7.6.2/
/usr/local/elasticsearch
[root@ubuntu1804 ~]#ls /usr/local/elasticsearch
bin  config  jdk  lib  LICENSE.txt  logs  modules  NOTICE.txt  plugins
README.asciidoc

2.3.2.2 编辑服务配置文件

[root@es-node1 ~]#vim /usr/local/elasticsearch/config/elasticsearch.yml
[root@es-node1 ~]#grep -v "#" /usr/local/elasticsearch/config/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node1             #在其它节点改为唯一的标识,如es-node2,es-node3
path.data: /data/es-data
path.logs: /data/es-logs
network.host: 10.0.0.101
http.port: 9200
discovery.seed_hosts: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2

# 复制配置文件到其它节点

[root@es-node1 ~]#scp /usr/local/elasticsearch/config/elasticsearch.yml  es-
node2:/usr/local/elasticsearch/config/
[root@es-node1 ~]#scp /usr/local/elasticsearch/config/elasticsearch.yml  es-
node3:/usr/local/elasticsearch/config/

[root@es-node2 ~]#vim /usr/local/elasticsearch/config/elasticsearch.yml
[root@es-node2 ~]#grep -v "#" /usr/local/elasticsearch/config/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node2           #只修改此行即可
path.data: /data/es-data
path.logs: /data/es-logs
network.host: 10.0.0.102
http.port: 9200
discovery.seed_hosts: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2

[root@es-node3 ~]#vim /usr/local/elasticsearch/config/elasticsearch.yml
[root@es-node1 ~]#grep -v "#" /usr/local/elasticsearch/config/elasticsearch.yml
cluster.name: es-cluster
node.name: es-node3         #只修改此行即可
path.data: /data/es-data
path.logs: /data/es-logs
network.host: 10.0.0.103
http.port: 9200
discovery.seed_hosts: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
cluster.initial_master_nodes: ["10.0.0.101", "10.0.0.102","10.0.0.103"]
gateway.recover_after_nodes: 2

2.3.2.3 修改 ELK 内存配置

修改ELK内存配置，推荐使用宿主机物理内存的一半，最大不超过30G

官方文档：

https://www.elastic.co/guide/en/elasticsearch/reference/current/important-
settings.html#heap-size-settings

范例：

[root@es-node1 ~]#vim /usr/local/elasticsearch/config/jvm.options
22-Xms2g
23-Xmx2g

2.3.2.4 创建用户

从ES7.X以后版不允许以root启动服务，需要委创建专用的用户

在所有节点上创建用户

[root@es-node1 ~]#useradd -r elasticsearch

2.3.2.5 目录权限更改

在所有节点上创建数据和日志目录并修改目录权限为elasticsearch

#可以不用创建下面目录es-data和es-logs，系统可以自动创建
[root@es-node1 ~]# mkdir /data/es-{data,logs}

[root@es-node1 ~]# ll /data/
total 0
drwxr-xr-x 2 root root 6 Apr 1818:44 es-data
drwxr-xr-x 2 root root 6 Apr 1818:44 es-logs

#必须分配权限，否则服务无法启动
[root@es-node1 ~]# chown  -R elasticsearch.elasticsearch /data/

[root@es-node1 ~]# ll /data/
total 0
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 1818:44 es-data
drwxr-xr-x 2 elasticsearch elasticsearch 6 Apr 1818:44 es-logs

#修改elasticsearch安装目录权限
[root@es-node1 ~]#chown -R elasticsearch.elasticsearch /usr/local/elasticsearch/

2.3.2.6 启动 Elasticsearch服务

在所有节点上配置并启动

[root@es-node1 ~]#echo 'PATH=/usr/local/elasticsearch/bin:$PATH' >
/etc/profile.d/elasticsearch.sh
[root@es-node1 ~]#. /etc/profile.d/elasticsearch.sh
[root@es-node1 ~]#tail -f /data/es-logs/es-cluster.log

#不能以root用户运行，切换用户
[root@es-node1 ~]#su - elasticsearch
No directory, logging in with HOME=/
$ elasticsearch
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in
version 9.0 and will likely be removed in a future release.
[2021-01-21T13:26:40,017][INFO ][o.e.e.NodeEnvironment    ] [es-node1] using [1]
data paths, mounts [[/data (/dev/sda5)]], net usable_space [43.1gb], net
total_space [45.5gb], types [ext4]
[2021-01-21T13:26:40,031][INFO ][o.e.e.NodeEnvironment    ] [es-node1] heap size
[1007.3mb], compressed ordinary object pointers [true]
[2021-01-21T13:26:40,182][INFO ][o.e.n.Node               ] [es-node1] node name
[es-node1], node ID [m__LGOZgTCCK010g6_VcJQ], cluster name

2.3.2.7 验证端口监听成功

在所有节点上验证端口

[root@es-node1 ~]#ss -ntlp|grep java
LISTEN   0128                       *:9200                   *:*
users:(("java",pid=2372,fd=225))
LISTEN   0128                       *:9300                   *:*
users:(("java",pid=2372,fd=211))

2.3.2.8 通过浏览器访问 Elasticsearch 服务端口

在所有节点上验证访问9200/tcp端口

[root@es-node1 ~]#curl 10.0.0.101:9200
{
"name" : "es-node1",
"cluster_name" : "es-cluster",
"cluster_uuid" : "vzp2MIpeQSGtCPzd29C2PA",
"version" : {
"number" : "7.6.2",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
"build_date" : "2020-03-26T06:34:37.794943Z",
"build_snapshot" : false,
"lucene_version" : "8.4.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
  },
"tagline" : "You Know, for Search"
}
[root@es-node1 ~]#curl -sXGET http://10.0.0.101:9200/_cluster/health?pretty=true
{
"cluster_name" : "es-cluster",
"status" : "green",

"timed_out" : false,
"number_of_nodes" : 3,
"number_of_data_nodes" : 3,
"active_primary_shards" : 0,
"active_shards" : 0,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}

2.3.2.9 创建 service 文件

[root@es-node1 ~]#cat /lib/systemd/system/elasticsearch.service
[Unit]
Description=Elasticsearch
Documentation=http://www.elastic.co
Wants=network-online.target
After=network-online.target

[Service]
RuntimeDirectory=elasticsearch
PrivateTmp=true
Environment=PID_DIR=/var/run/elasticsearch
WorkingDirectory=/usr/local/elasticsearch

User=elasticsearch
Group=elasticsearch
ExecStart=/usr/local/elasticsearch/bin/elasticsearch -p
${PID_DIR}/elasticsearch.pid --quiet
# StandardOutput is configured to redirect to journalctl since
# some error messages may be logged in standard output before
# elasticsearch logging system is initialized. Elasticsearch
# stores its logs in /var/log/elasticsearch and does not use
# journalctl by default. If you also want to enable journalctl
# logging, you can simply remove the "quiet" option from ExecStart.
# Specifies the maximum file descriptor number that can be opened by this
process
LimitNOFILE=65535
# Specifies the maximum number of processes
LimitNPROC=4096
# Specifies the maximum size of virtual memory
LimitAS=infinity
# Specifies the maximum file size
LimitFSIZE=infinity

# Disable timeout logic and wait until process is stopped
TimeoutStopSec=0
# SIGTERM signal is used to stop the Java process
KillSignal=SIGTERM
# Send the signal only to the JVM rather than its control group
KillMode=process
# Java process is never killed
SendSIGKILL=no
# When a JVM receives a SIGTERM signal it exits with code 143
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target
# Built for packages-7.6.2 (packages)
[root@es-node1 ~]#systemctl daemon-reload
[root@es-node1 ~]#systemctl enable --now elasticsearch.service

2.3.3 基于 Docker 部署

官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html

2.3.3.1 单节点部署

[root@ubuntu1804 ~]#docker run --name es-single-node -d -p 9200:9200 -p
9300:9300 -e "discovery.type=single-node"
docker.elastic.co/elasticsearch/elasticsearch:7.6.2
[root@ubuntu1804 ~]#curl 10.0.0.100:9200
{
"name" : "2d46279f23e3",
"cluster_name" : "docker-cluster",
"cluster_uuid" : "NnmXvLMcS9-fxTsPe0bSMw",
"version" : {
"number" : "7.6.2",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
"build_date" : "2020-03-26T06:34:37.794943Z",
"build_snapshot" : false,
"lucene_version" : "8.4.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
  },
"tagline" : "You Know, for Search"
}

2.3.3.2 多节点集群部署

2.3.3.2.1 部署前准备

注意：此方式需要3G以上内存，否则会出现OOM下面的信息

修改内核参数，默认无法启动，会出现下面错误提示

[root@ubuntu1804 ~]#echo vm.max_map_count=262144 >>  /etc/sysctl.conf
[root@ubuntu1804 ~]#sysctl -p

2.3.3.2.2 创建docker-compose.yml文件

[root@ubuntu1804 ~]#cat docker-compose.yml
version: '2.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.2
    container_name: es01
    environment:
-node.name=es01
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es02,es03
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
-"ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
- data01:/usr/share/elasticsearch/data
    ports:
-9200:9200
    networks:
- elastic
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.2
    container_name: es02
    environment:
-node.name=es02
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es01,es03
- cluster.initial_master_nodes=es01,es02,es03

- bootstrap.memory_lock=true
-"ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
- data02:/usr/share/elasticsearch/data
    networks:
- elastic
  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.2
    container_name: es03
    environment:
-node.name=es03
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es01,es02
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
-"ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
- data03:/usr/share/elasticsearch/data
    networks:
- elastic
volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local
networks:
  elastic:
    driver: bridge

2.3.3.2.3 启动集群

[root@ubuntu1804 ~]#docker-compose up -d

2.3.3.2.4 验证

[root@ubuntu1804 ~]#curl -sXGET http://10.0.0.100:9200
{
"name" : "es01",
"cluster_name" : "es-docker-cluster",
"cluster_uuid" : "Q0d0L9rCSuyuJyTEo8EE3w",
"version" : {
"number" : "7.6.2",
"build_flavor" : "default",
"build_type" : "docker",

"build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
"build_date" : "2020-03-26T06:34:37.794943Z",
"build_snapshot" : false,
"lucene_version" : "8.4.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
  },
"tagline" : "You Know, for Search"
}
[root@ubuntu1804 ~]#curl -sXGET http://10.0.0.100:9200/_cluster/health?
pretty=true
{
"cluster_name" : "es-docker-cluster",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 3,
"number_of_data_nodes" : 3,
"active_primary_shards" : 0,
"active_shards" : 0,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}

2.4 Elasticsearch 集群状态监控

官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/master/rest-apis.html

Elasticsearch 支持各种语言使用 RESTful API 通过端口 9200 与之进行通信，可以用你习惯的 web 客户端访问 Elasticsearch

可以用三种方式和 Elasticsearch进行交互

curl 命令和其它浏览器: 基于命令行,操作不方便

插件: 在node节点上安装head,Cerebro 等插件,实现图形操作,查看数据方便

Kibana: 需要java环境并配置,图形操作,显示格式丰富

监控下面两个条件都满足才是正常的状态

• 集群状态为 green

• 所有节点都启动

2.4.1 Shell 命令

# curl -sXGET http://elk服务器:9200/_cluster/health?pretty=true

获取到的是一个json格式的返回值，那就可以通过python对其中的信息进行分析，例如对status进行分析，如果等于green(绿色)就是运行在正常，等于yellow(黄色)表示副本分片丢失，red(红色)表示主分片丢失

ES集群状态:

• 绿色状态:表示集群各节点运行正常，而且没有丢失任何数据，各主分片和副本分片都运行正常黄色状态:表示由于某个节点宕机或者其他情况引起的，node节点无法连接、所有主分片都正常分配,有副本分片丢失，但是还没有丢失任何数据

• 红色状态:表示由于某个节点宕机或者其他情况引起的主分片丢失及数据丢失,但仍可读取数据和存储

#查看支持的指令

curl http://127.0.0.1:9200/_cat

#查看es集群状态
curl http://127.0.0.1:9200/_cat/health
curl'http://127.0.0.1:9200/_cat/health?v'

#查看所有的节点信息
curl'http://127.0.0.1:9200/_cat/nodes?v'

#列出所有的索引以及每个索引的相关信息
curl'http://127.0.0.1:9200/_cat/indices?v'
#查看集群分健康性
curl  http://127.0.0.1:9200/_cluster/health?pretty=true

范例

[root@node1 ~]#curl 127.0.0.1:9200/_cat
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes

/_cat/tasks
/_cat/indices
....

[root@node1 ~]#curl 'http://localhost:9200/_cat/nodes'
10.0.0.103 299300.16 0.07 0.05 cdfhilmrstw - node-3
10.0.0.102 168300.00 0.02 0.00 cdfhilmrstw * node-2
10.0.0.101 189200.10 0.11 0.05 cdfhilmrstw - node-1

[root@node1 ~]#curl 'http://localhost:9200/_cat/nodes?v'
ip         heap.percent ram.percent cpu load_1m load_5m load_15m node.role
master name
10.0.0.103           299300.19    0.07     0.05 cdfhilmrstw -
   node-3
10.0.0.102           168300.00    0.02     0.00 cdfhilmrstw *
   node-2
10.0.0.101           169200.12    0.12     0.05 cdfhilmrstw -
   node-1
[root@node1 ~]#curl 'http://localhost:9200/_cat/nodes?human'
10.0.0.103 299300.16 0.07 0.05 cdfhilmrstw - node-3
10.0.0.102 168300.00 0.02 0.00 cdfhilmrstw * node-2
10.0.0.101 179230.11 0.12 0.05 cdfhilmrstw - node-1

范例：

[root@es-node1 ~]#curl -sXGET http://10.0.0.101:9200/_cluster/health?pretty=true
{
"cluster_name" : "es-cluster",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 3,
"number_of_data_nodes" : 3,
"active_primary_shards" : 6,
"active_shards" : 12,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}

范例:

#查看es集群状态
[root@es-node1 ~]#curl 'http://localhost:9200/_cat/health'
162911735912:35:59 es-cluster green 33630000-100.0%
[root@es-node1 ~]#curl '10.0.0.101:9200/_cat/health?v'
epoch      timestamp cluster    status node.total node.data shards pri relo init
unassign pending_tasks max_task_wait_time active_shards_percent
161287799713:39:57  es-cluster green           33804000
00-100.0%

# 查看所有的节点信息

[root@es-node1 ~]#curl '10.0.0.101:9200/_cat/nodes?v'
ip         heap.percent ram.percent cpu load_1m load_5m load_15m node.role
master name
10.0.0.101           204400.03    0.02     0.00 dilm      -
es-node1
10.0.0.102           279740.29    0.14     0.10 dilm      -
es-node2
10.0.0.103           209600.00    0.00     0.00 dilm      *
es-node3

#列出所有的索引以及每个索引的相关信息
[root@es-node1 ~]#curl '10.0.0.101:9200/_cat/indices?v'
health status index                                  uuid                   pri
rep docs.count docs.deleted store.size pri.store.size
green  open   nginx-accesslog-0.107-2021.02.04       fSg_AiIOSaeYPVrjCEABBg   1
15930367.8kb        204.1kb
green  open   nginx-accesslog-0.107-2021.02.03       Hxj6RKkhTIWrW-7b7WE-iw   1
113930562.7kb        281.3kb
green  open   nginx-accesslog-0.107-2021.02.02       8SSfUh5wT0WWcBxAa0UrCQ   1
111810572.8kb        286.4kb
green  open   logfile-2021.01.26                     cBxWy995SrS9LAET660t9w   1
111100496.2kb        248.1kb
green  open   redis-syslog-0.107-2021.02.09          aaw2g8MBSberZFZKCHMQyg   1
1631307.6mb          3.7mb
green  open   metricbeat-7.6.2-2021.02.07-000001     MSq7BXQ6TXWFfvKkSzFUlQ   1
1116861070.3mb         35.2mb
green  open   linux-syslog-tomcat-2021.01.31         6booHIoiThyoui00cmqzOA   1
1118290        5mb          2.5mb
green  open   linux-2021.01.31                       VGGXaz38R0meynC6ciUcOQ   1
138309011.8mb          5.9mb
green  open   linux-2021.02.02                       UkJA4drJRNG3AvNw5cB-dQ   1
1582403.7mb          1.8mb
green  open   .kibana_task_manager_1                 s1zixAaTTX6Zwe1pSFAujw   1
12147.7kb         26.8kb
green  open   linux-2021.02.01                       R1YNBVR8TjW1pYk85UNDBw   1
1336101.9mb        997.6kb
green  open   linux-2021.02.07                       iVWNy0iaT8qggnVVrNVJaA   1
1568803.7mb          1.8mb
green  open   linux-2021.02.04                       xchTONa5TuWtaiOxK3xQVg   1
1531803.4mb          1.7mb
green  open   heartbeat-7.6.2-2021.02.07-000001      NoX252O_RkefMbxAB0Xkqg   1
11487108.3mb          4.1mb
green  open   linux-2021.02.09                       r1asaolISzyDRJCfmrwanQ   1
134470        2mb            1mb
green  open   syslog-0.104-2021.02.09                z9bhHeATTnyc89juzyOz5A   1
1344702.1mb            1mb
green  open   filebeat-7.6.2-2021.02.07-000001       grcnt8nyRUa8tta8vbHA-A   1
11715605.8mb          2.9mb
green  open   .apm-agent-configuration               o8F-g6SXRSaMGYWXMF_gCg   1
100       566b           283b
green  open   syslog-redis-0.107-2021.02.09          J23OBOm_RR6fXN2Iask-fw   1
12080405.8kb        221.6kb
green  open   java-error-log-0.107-2021.05           3k-_LqHJSjugaou0R2UBpQ   1
13200353.6kb        170.6kb
green  open   redis-nginx-errorlog-0.107-2021.02.09  LiJqBQ4fTnG08wEV9bbvGQ   1
1110192.8kb        106.1kb

green  open   .kibana_1                              a3GysbtUS7WlEyeLKuVsvg   1
1359480.7kb        240.3kb
green  open   syslog-0.107-2021.02.04                kz7RCKXtTPa8EqjNATi0ng   1
1258601.5mb        769.1kb
green  open   syslog-0.107-2021.02.07                noUBswW2QFSLIt9B_0Eyzg   1
119130        1mb        537.1kb
green  open   redis-nginx-accesslog-0.107-2021.02.09 pG1f2h_NRUi7VdG9XeqCDg   1
1180283.4kb        154.4kb
green  open   wang-index2                          32A1_WR4QEKmTfKFe61JjA   1
100       566b           283b
green  open   ilm-history-1-000001                   tEhIudx1SUGEKjI5VUzcTw   1
1360100.7kb         50.3kb
green  open   wang-index1                          TPUrqHNdRT2lCNVPMPF2eg   5
1002.7kb          1.3kb
green  open   syslog-0.104-2021.02.01                PyL3mHqJRRuznGu5P-wNjQ   1
1336101.9mb       1017.5kb
green  open   nginx-errorlog-0.107-2021.02.04        -8h-9e1GSJyitqI9kIkQVg1
16019.9kb          9.9kb
green  open   syslog-haproxy-0.107-2021.02.04        XKsuoHPKQR27LdGttZRUiA   1
11320205.8kb        102.9kb
green  open   syslog-0.104-2021.02.02                M0p-uU4XTViN6TJDx10hkw   1
1582403.7mb          1.8mb
green  open   syslog-haproxy-0.107-2021.02.07        mz_fap9DTpGIb9Y_dhr6MQ   1
119130        1mb        514.3kb
green  open   syslog-0.104-2021.02.04                MFjeKZsnR0u1R3onL_2zxA   1
1531803.4mb          1.7mb
green  open   nginx-errorlog-redis-0.107-2021.02.09  V8No1ik3T6mN2FLdDnKYiA   1
11041.2kb         20.6kb
green  open   syslog-0.104-2021.02.07                pXl_MaBkRTi4j7ilt65kPA   1
1568803.6mb          1.8mb

#查看指定索引信息
[root@es-node1 ~]#curl -XPOST 'localhost:9200/nginx-errorlog-0.107-
2021.02.04/_search?pretty'
{
"took" : 7,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
  },

范例: 创建索引

#elasticsearch 7.X 默认创建1个分片1个副本,之前版本默认5分版1副本
#https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-create-
index.html
#创建索引index1,简单输出
[root@node1 ~]#curl -XPUT '10.0.0.101:9200/index1'
{"acknowledged":true,"shards_acknowledged":true,"index":"index1"}
#创建索引index2,格式化输出
[root@node1 ~]#curl -XPUT '10.0.0.101:9200/index2?pretty'
{

"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "index2"
}
[root@node1 ~]#curl  '10.0.0.101:9200/index1?pretty'
{
"index1" : {
"aliases" : { },
"mappings" : { },
"settings" : {
"index" : {
"routing" : {
"allocation" : {
"include" : {
"_tier_preference" : "data_content"
            }
          }
        },
"number_of_shards" : "1",
"provided_name" : "index1",
"creation_date" : "1629086229360",
"number_of_replicas" : "1",
"uuid" : "t-t7GOq0RSOig6a1Fjv5Ug",
"version" : {
"created" : "7140099"
        }
      }
    }
  }
}
#创建3个分片和2个副本的索引
[root@node1 ~]#curl -XPUT '10.0.0.101:9200/index2' -H 'Content-Type:
application/json' -d '
{
"settings": {
"index": {
"number_of_shards": 3,
"number_of_replicas": 2
    }
  }
}'
{"acknowledged":true,"shards_acknowledged":true,"index":"index2"}
#调整副本数为1,但不能调整分片数
[root@node1 ~]#curl -XPUT '10.0.0.101:9200/index2/_settings' -H 'Content-Type:
application/json' -d '
{
"settings": {
"number_of_replicas": 1
    }
}'
{"acknowledged":true}