Kubernetes(k8s)Helm 部署 EFK 集群
一、集群信息
- 方法因人而异,但大同小异,以下是我的部署方法。
- elasticsearch 与 kibana 必须同一个版本来部署
- 性能不够还是别跑了。
- Kubernetes master 节点最小 2 核 2G 内存。
- Kubernetes node 节点最小 1 核 2G 内存。
- 性能实在性能不够,副本跑 1 个,2 个节点就是了。
- 虽然 node 节点看起来能跑,但是随便跑点东西就吃紧,怎么说也要 2G 内存起步。
1.1、 主机信息
主机名 | ip地址 | 描述 | 核心 | 内存 |
---|---|---|---|---|
node-01 | 192.168.8.131 | master 节点 | 2核 | 8G |
node-02 | 192.168.8.132 | node 节点 | 2核 | 8G |
node-03 | 192.168.8.133 | node 节点 | 2核 | 8G |
node-04 | 192.168.8.134 | node 节点 | 2核 | 8G |
1.2、版本说明
服务 | 版本 |
---|---|
helm | 3.1.1 |
Kibana | 7.9.1 |
Filebeat | 7.9.1 |
Kubernetes | 1.17.3 |
Elasticsearch | 7.9.1 |
nfs-client-provisioner | 1.2.8 |
二、部署 NFS 服务
2.1、 安装 NFS 与 rpcbind 服务
# 创建 NFS 存储目录
mkdir -p /data/NFS
# 安装nfs服务
yum -y install nfs-utils rpcbind
# 修改配置文件
echo "/data/NFS *(rw,sync,no_root_squash,no_subtree_check)" > /etc/exports
# 启动服务
systemctl start nfs && systemctl start rpcbind
# 设置开机启动
systemctl enable nfs-server && systemctl enable rpcbind
2.2、集群节点安装 nfs
- 重点全部节点都需要安装 nfs-utils 安装了即可不需要配置,否则节点无法挂载 pv
# 安装nfs服务 yum -y install nfs-utils
三、部署动态 PV
3.1、 创建名称空间
- 创建一个 monitoring 名称空间,将 nfs-client-provisioner 放在这个名称空间上
kubectl create ns nfs
3.2、创建 EFK 存储目录
- 该存储目录专门存放 EFK 数据包括: Elasticsearch Fluentd Kibana 数据
mkdir -p /data/NFS/EFK
3.3、使用 helm 安装 nfs-client-provisioner
- 项目地址:https://hub.helm.sh/charts/stable/nfs-client-provisioner
- 安装到 nfs 命名空间
- 重点:nfs.path 让数据存储到指定目录,这样好区分数据
- 重点:storageClass.name 这里填写 monitoring 专属名称,用于 PVC 自动绑定专属动态 PV 上。
# 下面代码直接复制黏贴即可
cat > elastic-client.yaml << EOF
# NFS 设置
nfs:
server: 192.168.8.131
path: /data/NFS/EFK
storageClass:
# 此配置用于绑定 PVC 和 PV
name: elastic-nfs-client
# 资源回收策略
reclaimPolicy: Retain
# 使用镜像
image:
repository: kubesphere/nfs-client-provisioner
# 副本数量
replicaCount: 3
EOF
# helm 部署 Prometheus 安装指定版本 Prometheus 5.0.4
helm install elastic-nfs-storage -n nfs --values elastic-client.yaml stable/nfs-client-provisioner --version 1.2.8
3.4、查看运行 nfs-client-provisioner Pod 状态
[root@Node-01 ~]# kubectl get pod -n nfs -w
NAME READY STATUS RESTARTS AGE
efk-nfs-storage-nfs-client-provisioner-57d6c64f6b-hqb9p 1/1 Running 0 4s
efk-nfs-storage-nfs-client-provisioner-57d6c64f6b-jj5vr 1/1 Running 0 4s
四、部署 Elasticsearch
- 内存低于 2G 可能会崩溃
- 由于之前创建动态 PV 当节点启动完成会自动挂载目录,无需再次创建 PV
- 项目地址:https://hub.helm.sh/charts/elastic/elasticsearch
4.1、 创建 EFK 集群名称空间
- 创建一个 monitoring 名称空间,将 efk 放在这个名称空间上
kubectl create ns efk
4.2、 添加 Helm Elastic 储存库
# 添加 helm elastic 储存库
helm repo add elastic https://helm.elastic.co
4.3、Elasticsearch 节点说明
- es-master 搭建一个 elasticsearch 至少需要 3 个 Pod 以防止集群脑裂。
- es-data 数据节点至少需要 2 个 Pod 。数据节点将保留数据、接收查询和索引请求。
- es-client 做为协调 elasticsearch 集群。至少需要 2 个。用于集群连接,并充当 HTTP 代理。如果不使用 es-clinet 那么 es-data 充当协调,尽量避免在较大的集群上这样做。
集群名称 | 节点名称 | 节点角色 | 副本数量 | 分配空间 | 网络模式 | 备注 |
---|---|---|---|---|---|---|
es-aka | master | master: "true" ingest: "false" data: "false" | 3 | 4Gi | ClusterIP | 主节点 |
es-aka | data | master: "false" ingest: "false" data: "true" | 3 | 60Gi | ClusterIP | 数据节点 |
es-aka | client | master: "false" ingest: "false" data: "false" | 2 | null | NodePort | 连接节点 |
4.4、开启 Elasticsearch 集群安全
4.4.1、 生成证书脚本
- 新建脚本文件,运行成功后,会在目录生成证书
cat <<'EOF'> es-security.sh
# 拷贝下面内容到脚本中
#!/bin/bash
# 指定 elasticsearch 版本
RELEASE=7.9.1
# 运行容器生成证书
docker run --name elastic-charts-certs -i -w /app \
elasticsearch:${RELEASE} \
/bin/sh -c " \
elasticsearch-certutil ca --out /app/elastic-stack-ca.p12 --pass '' && \
elasticsearch-certutil cert --name security-master --dns security-master --ca /app/elastic-stack-ca.p12 --pass '' --ca-pass '' --out /app/elastic-certificates.p12" && \
# 从容器中将生成的证书拷贝出来
docker cp elastic-charts-certs:/app/elastic-certificates.p12 ./ && \
# 证书生成成功该容器删除
docker rm -f elastic-charts-certs && \
openssl pkcs12 -nodes -passin pass:'' -in elastic-certificates.p12 -out elastic-certificate.pem
EOF
4.4.2、生成集群证书
- 运行完成会获得 elastic-certificate.pem 与 elastic-certificates.p12
# 赋予脚本运行权限并运行
chmod +x es-security.sh && ./es-security.sh
4.4.3、添加证书到 K8S
- 添加到集群命名空间 efk 中
- 添加证书与设置集群密码
# 添加证书
kubectl create secret -n efk generic elastic-certificates --from-file=elastic-certificates.p12
kubectl create secret -n efk generic elastic-certificate-pem --from-file=elastic-certificate.pem
# 设置集群用户名密码,用户名不建议修改
kubectl create secret -n efk generic elastic-credentials --from-literal=password=akiraka --from-literal=username=elastic
4.5、部署 es-master 节点
- 副本数量 3
- 创建配置文件
- es-master 节点 PVC 创建 4Gi
- 安装 Elasticsearch 7.9.1 版本
- 如果数据持久化 master 也要做持久化否则一旦master与data节点断开 uuid就对不上了
# 下面代码直接复制黏贴即可
cat <<'EOF'> es-master.yaml
---
# 使用镜像
image: "elasticsearch"
# es 集群名称
clusterName: "es-aka"
# es 节点名称
nodeGroup: "master"
# es 节点角色
roles:
master: "true"
ingest: "false"
data: "false"
# 副本数量
replicas: 3
# 资源限制
resources:
requests:
cpu: "300m"
memory: "1Gi"
limits:
cpu: "1000m"
memory: "2Gi"
volumeClaimTemplate:
# 该volume只能被单个节点以读写的方式映射
accessModes: [ "ReadWriteOnce" ]
# 自动绑定动态 pv
storageClassName: "elastic-nfs-client"
resources:
requests:
storage: 4Gi
# 是否启用 PVC
persistence:
enabled: true
# 是否 SSH 开启改为 https
protocol: http
# 添加配置
esConfig:
elasticsearch.yml: |
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 是否启用 htpps 启用 head 无法连接,开启还需要将 protocol 修改为 https
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 环境变量
extraEnvs:
- name: ELASTIC_PASSWORD
valueFrom:
secretKeyRef:
name: elastic-credentials
key: password
- name: ELASTIC_USERNAME
valueFrom:
secretKeyRef:
name: elastic-credentials
key: username
# 证书
secretMounts:
- name: elastic-certificates
secretName: elastic-certificates
path: /usr/share/elasticsearch/config/certs
EOF
# helm 部署 es-master 节点并安装指定版本 elasticsearch 7.9.1
helm install es-master -n efk --values es-master.yaml elastic/elasticsearch --version 7.9.1
4.6、部署 es-data 节点
- 副本数量 3
- 创建配置文件
- es-data 节点 PVC 创建 60Gi
- 安装 Elasticsearch 7.9.1 版本
# 下面代码直接复制黏贴即可
cat <<'EOF'> es-data.yaml
---
# 使用镜像
image: "elasticsearch"
# es 集群名称
clusterName: "es-aka"
# es 节点名称
nodeGroup: "data"
# es 节点角色
roles:
master: "false"
ingest: "true"
data: "true"
# 副本数量
replicas: 3
# 资源限制
resources:
requests:
cpu: "300m"
memory: "1Gi"
limits:
cpu: "1000m"
memory: "2Gi"
# PVC
volumeClaimTemplate:
# 该volume只能被单个节点以读写的方式映射
accessModes: [ "ReadWriteOnce" ]
# 自动绑定动态 pv
storageClassName: "elastic-nfs-client"
resources:
requests:
storage: 60Gi
# 是否 SSH 开启改为 https
protocol: http
# 添加配置
esConfig:
elasticsearch.yml: |
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 是否启用 htpps 启用 head 无法连接,开启还需要将 protocol 修改为 https
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 环境变量
extraEnvs:
- name: ELASTIC_PASSWORD
valueFrom:
secretKeyRef:
name: elastic-credentials
key: password
- name: ELASTIC_USERNAME
valueFrom:
secretKeyRef:
name: elastic-credentials
key: username
# 证书
secretMounts:
- name: elastic-certificates
secretName: elastic-certificates
path: /usr/share/elasticsearch/config/certs
EOF
# helm 部署 es-data 节点并安装指定版本 elasticsearch 7.9.1
helm install es-data -n efk --values es-data.yaml elastic/elasticsearch --version 7.9.1
4.7、部署 es-client 节点
- 副本数量 2
- 创建配置文件
- es-client 无需创建 PV
- 安装 Elasticsearch 7.9.1 版本
- 默认为: NodePort 固定端口: 30920
# 下面代码直接复制黏贴即可
cat <<'EOF'> es-client.yaml
---
# 使用镜像
image: "elasticsearch"
# es 集群名称
clusterName: "es-aka"
# es 节点名称
nodeGroup: "client"
# es 节点角色
roles:
master: "false"
ingest: "false"
data: "false"
# 副本数量
replicas: 2
# 资源限制
resources:
requests:
cpu: "300m"
memory: "1Gi"
limits:
cpu: "1000m"
memory: "2Gi"
# 是否启用 PVC
persistence:
enabled: false
# 设置 es-clinet 默认为 NodePort
service:
type: NodePort
# 设置 NodePort 默认端口
nodePort: 30920
# 是否 SSH 开启改为 https
protocol: http
# 添加配置
esConfig:
elasticsearch.yml: |
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 是否启用 htpps 启用 head 无法连接,开启还需要将 protocol 修改为 https
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 环境变量
extraEnvs:
- name: ELASTIC_PASSWORD
valueFrom:
secretKeyRef:
name: elastic-credentials
key: password
- name: ELASTIC_USERNAME
valueFrom:
secretKeyRef:
name: elastic-credentials
key: username
# 证书
secretMounts:
- name: elastic-certificates
secretName: elastic-certificates
path: /usr/share/elasticsearch/config/certs
EOF
# helm 部署 es-client 节点并安装指定版本 elasticsearch 7.9.1
helm install es-client -n efk --values es-client.yaml elastic/elasticsearch --version 7.9.1
五、查看 Elasticsearch 部署状态
5.1、查看 Elasticsearch Pv 状态
- 之前创建的动态 PV 就在这里体现了。
- 可以看到 PVC 与 PV 均已绑定成功。
[root@Node-01 ~]# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-b8d12daf-6ea1-431c-a259-230b5a3c3c08 60Gi RWO Retain Bound efk/es-aka-data-es-aka-data-0 elastic-nfs-client 3m16s
pvc-ec1e34d2-b732-4959-b1de-57afd32d62d4 60Gi RWO Retain Bound efk/es-aka-data-es-aka-data-1 elastic-nfs-client 3m16s
pvc-0bc003b3-3cea-4816-8dd2-e264729db108 60Gi RWO Retain Bound efk/es-aka-data-es-aka-data-2 elastic-nfs-client 3m16s
pvc-6a8725fa-e1c8-415d-802f-49a180f60ed1 4Gi RWO Retain Bound efk/es-aka-master-es-aka-master-0 elastic-nfs-client 4m56s
pvc-d2384c3b-035b-4bde-8749-96c8ffd68f54 4Gi RWO Retain Bound efk/es-aka-master-es-aka-master-1 elastic-nfs-client 4m56s
pvc-f28c610a-c709-40e3-b937-42b8ed74b001 4Gi RWO Retain Bound efk/es-aka-master-es-aka-master-2 elastic-nfs-client 4m55s
5.2、查看 Elasticsearch Pod 状态
- 2 个 es-master 部署完成
- 3 个 es-data 部署完成
- 1 个 es-client 部署完成
[root@Node-01 ~]# kubectl get pods --namespace=efk -w
NAME READY STATUS RESTARTS AGE
es-aka-data-0 1/1 Running 0 4m29s
es-aka-data-1 1/1 Running 0 4m29s
es-aka-data-2 1/1 Running 0 4m29s
es-aka-client-0 1/1 Running 0 3m41s
es-aka-client-1 1/1 Running 0 3m41s
es-aka-master-0 1/1 Running 0 6m9s
es-aka-master-1 1/1 Running 0 6m9s
es-aka-master-2 1/1 Running 0 6m9s
5.3、查看 Elasticsearch Svc 状态
- elasticsearch-client 默认为: NodePort 固定端口: 30920
- 除 elasticsearch-client 使用 NodePort 其余均为 ClusterIP
[root@Node-01 ~]# kubectl get svc -n efk
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
es-aka-client NodePort 10.1.25.120 <none> 9200:30920/TCP,9300:32696/TCP 4m17s
es-aka-client-headless ClusterIP None <none> 9200/TCP,9300/TCP 4m17s
es-aka-data ClusterIP 10.1.142.169 <none> 9200/TCP,9300/TCP 5m5s
es-aka-data-headless ClusterIP None <none> 9200/TCP,9300/TCP 5m5s
es-aka-master ClusterIP 10.1.28.147 <none> 9200/TCP,9300/TCP 6m45s
es-aka-master-headless ClusterIP None <none> 9200/TCP,9300/TCP 6m45s
六、部署 Filebeat
6.1、 添加 Helm Elastic 储存库
# 添加 helm elastic 储存库
helm repo add elastic https://helm.elastic.co
6.2、使用 helm 安装 Filebeat
- 安装 Filebeat 7.9.1 版本
- 需要填写集群账号与密码
cat <<'EOF'> es-filebeat.yaml
# 覆盖资源的全名。如果未设置名称,则默认为 ".Release.Name-.Values.nameOverride or .Chart.Name"
fullnameOverride: filebeat
# 使用镜像
image: "elastic/filebeat"
# 添加配置
filebeatConfig:
filebeat.yml: |
filebeat.inputs:
- type: docker
containers.ids:
- '*'
processors:
- add_kubernetes_metadata:
in_cluster: true
output.elasticsearch:
# elasticsearch 用户
username: 'elastic'
# elasticsearch 密码
password: 'akiraka'
# elasticsearch 主机
hosts: ["es-aka-client:9200"]
# 环境变量
extraEnvs:
- name: 'ELASTICSEARCH_USERNAME'
valueFrom:
secretKeyRef:
name: elastic-credentials
key: username
- name: 'ELASTICSEARCH_PASSWORD'
valueFrom:
secretKeyRef:
name: elastic-credentials
key: password
EOF
# helm 安装指定版本 filebeat 7.9.1
helm install filebeat -n efk --values es-filebeat.yaml elastic/filebeat --version 7.9.1
6.3、查看运行 Filebeat Pod 状态
[root@Node-01 ~]# kubectl get pods --namespace=efk -l app=filebeat-filebeat -w
NAME READY STATUS RESTARTS AGE
filebeat-filebeat-7dp29 1/1 Running 0 24s
filebeat-filebeat-rp8kg 1/1 Running 0 24s
filebeat-filebeat-z4wcp 1/1 Running 0 24s
七、部署 Kibana
7.1、 添加 Helm Elastic 储存库
# 添加 helm elastic 储存库
helm repo add elastic https://helm.elastic.co
7.2、使用 helm 安装 Kibana
- 安装 Kibana 7.9.1 版本
- 设置 kibana 默认简体中文
- Kibana 无需填写集群账号与密码
- service.type 设置为: NodePort
- service.nodePort 固定端口: 32323
- elasticsearchHosts 填写集群地址,格式为: http://es-aka-client:9200
cat <<'EOF'> es-kibana.yaml
# 使用镜像
image: "kibana"
# 集群地址
elasticsearchHosts: "http://es-aka-client:9200"
# 添加配置
kibanaConfig:
kibana.yml: |
# 设置 kibana 简体中文
i18n.locale: "zh-CN"
# 否 SSH 开启改为 https 确保集群也是 https
protocol: http
# 服务设置
service:
type: NodePort
nodePort: 32323
# 环境变量
extraEnvs:
- name: 'ELASTICSEARCH_USERNAME'
valueFrom:
secretKeyRef:
name: elastic-credentials
key: username
- name: 'ELASTICSEARCH_PASSWORD'
valueFrom:
secretKeyRef:
name: elastic-credentials
key: password
EOF
# helm 安装指定版本 kibana 7.9.1
helm install kibana -n efk --values es-kibana.yaml elastic/kibana --version 7.9.1
7.3、查看运行 Kibana Pod 状态
[root@Node-01 ~]# kubectl get pods --namespace=efk -l app=kibana -w
NAME READY STATUS RESTARTS AGE
kibana-kibana-6b65b974f5-w2gd6 1/1 Running 0 60s
八、访问仪表盘
8.1、 通过 Elasticsearch Head 访问
- 其他浏览器我不清楚,Chrome 浏览器扩展商店搜索 ElasticSearch Head 然后安装该扩展
- 条件已知 elasticsearch-client 使用了 NodePort 端口为: 30920
- 使用方式: 集群随便一台机器 IP 地址,格式: http://节点IP:30920
8.2、访问 Kibana 仪表盘
- Kibana 默认端口为:32323
- 访问方式: http://集群ip:32323
- 默认设置中文界面
- 默认用户与密码为自己设置,我设置
- 本集群默认用户为: elastic
- 本集群默认用户为: akiraka
8.3、创建 Kibana 索引
- 路径》管理》Kibana》索引模式》创建索引
- 这里添加 Filebeat 索引
8.4、通过 Kibana 查看 Filebeat 日志
版权声明:
作者:Akiraka
链接:https://www.akiraka.net/code/golang/437.html
来源:Akiraka
文章版权归作者所有,未经允许请勿转载。
THE END
0
二维码
海报
Kubernetes(k8s)Helm 部署 EFK 集群
一、集群信息
方法因人而异,但大同小异,以下是我的部署方法。
elasticsearch 与 kibana 必须同一个版本来部署
性能不够还是别跑了。
Kubernetes master 节……
匿名
akiraka@匿名
阿四@akiraka
Akiraka@阿四
lala
Akiraka@lala
buy CBD
buy CBD
飞翔沫沫情
-1 OR 2+434-434-1=0+0+0+1 --
1
n7Dnxc8n
curry 5
Akiraka@curry 5
curry 6
Akiraka@curry 6
birkin bag
Akiraka@birkin bag
kyrie shoes
Akiraka@kyrie shoes
lebron 17
Akiraka@lebron 17
kobe 11
jordan 6
kd shoes
Akiraka@kd shoes
kd 10
moncler
moncler
Akiraka@moncler
Akiraka@moncler
chrome hearts store
Akiraka@chrome hearts store
kawhi leonard shoes
Akiraka@kawhi leonard shoes
cbd oil for pain topical cream
Tayla
writeablog.net
Akiraka@writeablog.net
cbd oil for pain
childrens curtain rod finials
Fidel Eidschun
https://www.sfgate.com/market/article/best-cbd-oil-companies-15738194.php
mail order cannabis for pets
www.digitaljournal.com
Robert Zoost Realtor
Akiraka@Robert Zoost Realtor
www.youtube.com
Rob Ronning
Akiraka@Rob Ronning
bbs.inmeng.cn
https://www.undrtone.com/robertzoost
Akiraka@https://www.undrtone.com/robertzoost