一、Health Check介绍

        强大的自愈能力是k8s容器编排引擎一个重要特性,自愈能力的默认实现方式为自动重启发生故障的容器,另外还可以利用Liveness和Readiness探测机制设置更精细的健康检查。

  • 零停机部署
  • 避免部署无效的镜像
  • 更加安全的滚动升级

二、K8S健康检查方式

1、k8s默认的健康检查

       每个容器启动时都会执行一个进程,此进程由Dockerfile的CMD或ENTRYPOINT指定。如果进程退出返回码为0,则认为容器发生故障,k8s会根据restartPolicy重启容器。

①创建应用测试

apiVersion: v1
kind: Pod
metadata:
  name: healthcheck
  labels:
    test: healthcheck
spec:
  restartPolicy: OnFailure
  containers:
  - name: healthcheck
    image: busybox
    args:
    - /bin/sh
    - -c
    - sleep 10;exit 1

②Pod的restartPolicy设置为OnFailure,默认策略为Always,执行创建Pod

kubectl apply -f healthcheck.yaml

③过几分钟查看Pod状态,发现容器已经重启了3次

[root@k8s-node1 health_check]# kubectl get pods healthcheck
NAME          READY     STATUS    RESTARTS   AGE
healthcheck   0/1       Error     3          2m

容器进程返回值非0,k8s则认为容器发生故障,需要重启,有不少场景下发生故障,但进程不会退出,比如访问web服务时发生500内部错误,可能是负载过高,也可能是资源死锁,此时httpd进程并没有异常

退出,在这种情况下重启容器可能是最直接、最有效的解决方案,处理此类场景那就用到了k8s的Liveness探测。

2、Liveness探测

       Liveness探测让用户可以自定义判断容器是否健康的条件,如果探测失败,k8s就会重启容器。

①创建应用演示

apiVersion: v1
kind: Pod
metadata:
  name: liveness
  labels:
    test: liveness
spec:
  restartPolicy: OnFailure
  containers:
  - name: liveness
    image: busybox
    args:
    - /bin/sh
    - -c
    - touch /tmp/healthy; sleep 30; rm -f /tmp/healthy; sleep 600
    livenessProbe:
      exec:
        command:
        - cat
        - /tmp/healthy
      initialDelaySeconds: 10
      periodSeconds: 5

以上yaml文件说明:启动Pod后首先创建文件/tmp/healthy,30秒后删除,如果文件/tmp/healthy存在,则认为容器处于正常状态,反之发生故障。

探测方法:

  • 通过cat命令检查/tmp/healthy文件是否存在,如果命令执行成功,返回值为0,k8s会认为本次Liveness探测成功;如果命令返回值非0,本次Liveness探测失败
  • initialDelaySeconds: 10 指容器启动10秒后开始执行Liveness探测,如果你的应用启动要花30秒,那么initialDelaySeconds的值就应该大于30。
  • periodSeconds: 5 指每5秒执行一次Liveness探测,k8s如果连续执行3次Liveness探测均失败,则会杀掉重启容器

②创建Pod并查看

kubectl apply -f liveness.yaml
kubectl describe pod liveness

 ③35秒之后,日志显示/tmp/healthy已经不存在了,Liveness连续几次探测失败,容器会被重启

 ④再次查看pod,发现已经重启1次

[root@k8s-node1 health_check]# kubectl get pods liveness
NAME       READY     STATUS    RESTARTS   AGE
liveness   1/1       Running   1          1m

3、Readiness探测

        Liveness探测可以告诉k8s什么时候通过重启容器实现自愈;Readiness探测告诉k8s什么时候可以将容器加入到service负载均衡池中,对外提供服务。

①Readiness探测配置与Liveness探测完全一样

apiVersion: v1
kind: Pod
metadata:
  name: readiness
  labels:
    test: readiness
spec:
  restartPolicy: OnFailure
  containers:
  - name: readiness
    image: busybox
    args:
    - /bin/sh
    - -c
    - touch /tmp/healthy; sleep 30; rm -f /tmp/healthy; sleep 600
    readinessProbe:
      exec:
        command:
        - cat
        - /tmp/healthy
      initialDelaySeconds: 10
      periodSeconds: 5

②创建并查看

kubectl apply -f readiness.yaml
[root@k8s-node1 health_check]# kubectl get pod readiness
NAME        READY     STATUS    RESTARTS   AGE
readiness   0/1       Running   0          8s

[root@k8s-node1 health_check]# kubectl get pod readiness
NAME        READY     STATUS    RESTARTS   AGE
readiness   1/1       Running   0          18s

[root@k8s-node1 health_check]# kubectl get pod readiness
NAME        READY     STATUS    RESTARTS   AGE
readiness   0/1       Running   0          49s

探测方法:

  • 刚创建时,READY状态不可用
  • 15秒后,第一次进行Readiness探测并成功返回,设置READY为可用
  • 30秒后,/tmp/healthy被删除,连续3次Readiness探测失败后,READY被设置为不可用

③查看日志详情

kubectl describe pod readiness

 4、Readiness探测与Liveness探测区别

  • Readiness探测与Liveness探测是两种Health Check机制,如果不特意配置,k8s对两种探测采取相同的默认行为,均通过判断容器启动进程的返回值是否为0判断探测是否成功。
  • 两种探测配置方法完全一样,支持的配置参数也一样,不同在于探测失败后,Liveness探测是重启容器,Readiness探测则将容器设置为不可用,不接收service转发的请求
  • Readiness探测与Liveness探测是独立执行的,二者之间没有依赖,可以单独使用,也可以同时使用,用Liveness探测判断容器是否需要重启以实现自愈,用Readiness探测判断容器是否已经准备好对外提供服务
12-22 10:19