Elastic 中国社区官方博客

Elastic 中国社区官方博客

Elasticsearch:使用 Docker-Compose 启动单节点 Elastic Stack-LMLPHP

首先必须指出的是,在我之前的文章 “Elasticsearch:使用 Docker compose 来一键部署 Elastic Stack 8.x”,我有详述根据官方文档如何创建一个带有三个节点的安全 Elasticsearch 集群。本文基于著名的 Deviatony 存储库和 Elastic 的官方说明。 建议先通读这些说明,如果你已经可以根据这些说明开始搭建你自己的 Elastic Stack,则可以跳过本指南。

1)为什么选择 Elastic Stack?

Elastic Stack(以前称为 ELK stack)是三个开放及免费产品的集合 —— Elasticsearch、Logstash 和 Kibana。

  • Elasticsearch 是一个全文搜索和分析引擎
  • Logstash 是一个日志聚合器,它从多个来源收集和处理数据,将其转换为通用格式,并将其发送到各种目的地,例如 Elasticsearch
  • Kibana 允许用户在 Elasticsearch 中使用图表和图形可视化数据。

使用 Elastic Stack 的好处:

  • 它是开放及免费的,这意味着它可以免费使用,并且可以根据你的需要进行定制。
  • 它是一个完整的日志分析平台,用于搜索、分析和可视化来自不同机器的日志生成数据。
  • 它可以安全地实时提取、分析和可视化来自任何来源和格式的数据。
  • 还有很多 …

2)概述

Deviatony 的 repo 相比,本文所使用的 Elastic Stack 有更多的附加功能:

  • 在 docker-compose.yml 中为容器环境变量提供默认值(请注意,仍然可以使用 .env 文件覆盖这些值)
  • 为每个服务定制 Dockerfile
  • 为每个服务定制入口点,使得在运行容器时可以执行额外的命令
  • 使用 Logstash 管道加载到 Elasticsearch 的一些日志条目

3)设置

将此存储库克隆到你的 Docker 主机并 check out 分支 single-node-cluster:

git clone https://github.com/Uhuynh/elastic-stack-docker.git
git checkout single-node-cluster

主项目结构如下:

$ pwd
/Users/liuxg/data/elastic-stack-docker
$ tree -L 3
.
├── LICENSE
├── Makefile
├── docker-compose.setup.yml
├── docker-compose.yml
├── elasticsearch
│   ├── Dockerfile
│   ├── config
│   │   └── elasticsearch.yml
│   └── entrypoint.sh
├── kibana
│   ├── Dockerfile
│   ├── config
│   │   └── kibana.yml
│   └── entrypoint.sh
├── logstash
│   ├── Dockerfile
│   ├── config
│   │   ├── logstash.yml
│   │   └── pipelines.yml
│   ├── entrypoint.sh
│   ├── log_files
│   │   └── test.log
│   └── pipeline
│       └── test_logs.conf
├── markdown
│   ├── login_page.png
│   └── user-page.png
└── setup
    └── elasticsearch
        ├── Dockerfile
        ├── certs.sh
        ├── entrypoint.sh
        ├── helpers.sh
        ├── initialize.sh
        └── roles

elasticsearch.yml、kibana.yml 和 logstash.yml 是 Elastic Stack 中每个服务的主要配置文件。

创建证书

从 Elasticsearch 8.0 开始,默认启用安全性。 启用安全性后,Elastic Stack 安全功能需要对传输网络层进行 TLS 加密,否则你的集群将无法启动。

要开始使用 Elasticsearch 安全性,你需要生成证书颁发机构 (CA),然后使用它为集群中的每个节点生成证书:

docker-compose -f docker-compose.setup.yml run --rm es_certs
$ docker-compose -f docker-compose.setup.yml run --rm es_certs
[+] Running 1/0
 ⠿ Network elastic-stack-docker_default  Create...                                        0.0s
[+] Running 11/11
 ⠿ es_certs Pulled                                                                       40.2s
   ⠿ 95e9c9b381a6 Pull complete                                                           5.2s
   ⠿ 9a45f418de13 Pull complete                                                           5.3s
   ⠿ 00871d1ebcfa Pull complete                                                           5.4s
   ⠿ 89732bc75041 Pull complete                                                           5.4s
   ⠿ f2cd942089ee Pull complete                                                          33.1s
   ⠿ 311f3ae295d1 Pull complete                                                          33.1s
   ⠿ e0351d108cd0 Pull complete                                                          33.2s
   ⠿ a88cdf3ed11e Pull complete                                                          33.2s
   ⠿ c168e6f97f22 Pull complete                                                          33.3s
   ⠿ 81858e17f7f1 Pull complete                                                          33.3s
Creating Certificate Authority...
Archive:  /certs/ca.zip
   creating: /certs/ca/
  inflating: /certs/ca/ca.crt        
  inflating: /certs/ca/ca.key        
Creating certs...
Archive:  /certs/certs.zip
   creating: /certs/es/
  inflating: /certs/es/es.crt        
  inflating: /certs/es/es.key        
Setting file permissions
Setup certs done!

这将启动 es_certs 容器,然后执行 ./setup/elasticsearch/certs.sh 中的 Bash 脚本。 请注意,容器必须由 root 用户运行。

成功运行后,你应该会在项目目录的 ./certs 文件夹中看到生成的证书和密钥:

$ ls
LICENSE                  docker-compose.yml       markdown
Makefile                 elasticsearch            setup
certs                    kibana
docker-compose.setup.yml logstash
$ pwd
/Users/liuxg/data/elastic-stack-docker
$ tree certs -L 2
certs
├── ca
│   ├── ca.crt
│   └── ca.key
├── es
│   ├── es.crt
│   └── es.key
└── instances.yml

然后,你可以将 Elasticsearch 配置为在与其他节点通信时使用这些证书进行身份验证和加密。

elasticsearch.yml

# in elasticsearch.yml

# Transport Protocol (inter-node communication)
# note: production nodes won't start without this feature
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: certs/es/es.key
xpack.security.transport.ssl.certificate: certs/es/es.crt
xpack.security.transport.ssl.certificate_authorities: certs/ca/ca.crt

# HTTP Protocol (communication between ES and Kibana / Logstash)
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.verification_mode: certificate
xpack.security.http.ssl.key: certs/es/es.key
xpack.security.http.ssl.certificate: certs/es/es.crt
xpack.security.http.ssl.certificate_authorities: certs/ca/ca.crt

kibana.yml

# in kibana.yml

## Communications between Kibana and Elasticsearch
## see https://www.elastic.co/guide/en/kibana/current/configuring-tls.html#configuring-tls-kib-es
elasticsearch.ssl.certificateAuthorities: config/certs/ca/ca.crt.crt

4)把 Elastic Stack 运行起来

我们在 terminal 中打入如下的命令:

docker-compose up -d

除了用于 Elasticsearch、Logstash 和 Kibana 的 3 个主要容器之外,还有一个设置容器,它运行一个初始脚本来为系统用户(kibana_system、logstash_system)设置密码并创建一个 logstash_internal 用户以将数据写入 Elasticsearch。 

你应该从设置容器中看到以下日志:

$ pwd
/Users/liuxg/data/elastic-stack-docker
$ ls
LICENSE                  docker-compose.yml       markdown
Makefile                 elasticsearch            setup
certs                    kibana
docker-compose.setup.yml logstash
$ docker-compose up -d
[+] Running 4/4
 ⠿ Container elastic-stack-docker-es-1        Ru...                                       0.0s
 ⠿ Container elastic-stack-docker-setup-1     Started                                     0.3s
 ⠿ Container elastic-stack-docker-kibana-1    Running                                     0.0s
 ⠿ Container elastic-stack-docker-logstash-1  Started                                     0.3s

最后我们看到如下的信息:

$ docker ps
CONTAINER ID   IMAGE                           COMMAND                  CREATED          STATUS                   PORTS                                            NAMES
de558e082f4a   elastic-stack-docker-logstash   "/opt/setup/entrypoi…"   41 seconds ago   Up 40 seconds            5044/tcp, 9600/tcp, 0.0.0.0:5100->5100/tcp       elastic-stack-docker-logstash-1
78b590b1e6c7   elastic-stack-docker-kibana     "/opt/setup/entrypoi…"   3 minutes ago    Up 3 minutes             0.0.0.0:5601->5601/tcp                           elastic-stack-docker-kibana-1
ef4e93ed4c16   elastic-stack-docker-es         "/opt/setup/entrypoi…"   3 minutes ago    Up 3 minutes (healthy)   0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp   elastic-stack-docker-es-1

我们可以看到如上的三个容器正在运行。

要自定义此初始脚本,你可以查看文件 ./setup/elasticsearch/initialize.sh

等待 1 到 2 分钟让堆栈完成设置,然后在浏览器中访问 Kibana localhost:5601 并使用 docker-compose.yml 中定义的用户 elastic 和密码登录

Elasticsearch:使用 Docker-Compose 启动单节点 Elastic Stack-LMLPHP

 

堆栈中已经配置了一个 Logstash 管道,用于将日志从 ./logstash/log_files/test.log 加载到 Elasticsearch 中。

导航到 Management -> Stack Management -> Kibana -> Data View 为这些日志条目创建 data view。

Elasticsearch:使用 Docker-Compose 启动单节点 Elastic Stack-LMLPHP

Elasticsearch:使用 Docker-Compose 启动单节点 Elastic Stack-LMLPHP 

Elasticsearch:使用 Docker-Compose 启动单节点 Elastic Stack-LMLPHP 

然后你可以导航到 Kibana Analytics -> Discover 以查看、搜索、分析日志条目并创建可视化。

 Elasticsearch:使用 Docker-Compose 启动单节点 Elastic Stack-LMLPHP

Elasticsearch:使用 Docker-Compose 启动单节点 Elastic Stack-LMLPHP 

使用 Elastic Stack 进行愉快的测试!希望对你学习之旅有所帮助! 

05-10 22:57