东风微鸣

东风微鸣

关注
发信
关注(28)粉丝(399)

Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群

开篇

方案

(❌ 因为腾讯云已经放弃维护相关源码，所以无法复用）

  • (❌ 因为腾讯云已经放弃维护相关源码，所以无法复用）
  • CLB - 使用 4 层 CLB
  • 备份 - 使用腾讯云 COS

    • 前提条件

    1. 有腾讯云账户，账户至少拥有如下权限：auto k3s 安装 - 设置 CAM 以及这些权限：

      1. QcloudTAGFullAccess

    2. 该腾讯云账号有对应的 API 密钥，地址：访问密钥 - 控制台 (tencent.com) ，或者拥有相关权限：cam:QueryCollApiKey和 cam:CreateCollApiKey

    3. 一个对象存储通 cos，用于备份

    4. Rancher 的域名

    5. Rancher 的域名对应的证书（如果没有，会尝试通过 cert-manager 和 let’s encrypt 自动生成免费的证书）

    注意事项

    Rancher 安装注意事项

    1. 通过 Helm Chart 进行高可用安装

    2. 安装前需要调整：

      1. 安全组

    3. 安装后需要配置：

      1. LB
      2. Backup

    4. ⚠️付费模式，COS 按需调整付费模式。

    安装步骤

    Rancher

    Rancher 端口要求

    Rancher Server 节点的入站规则

    最后具体的安全组配置如下：（应该可以进一步收紧）

    Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群-LMLPHP

    Rancher 高可用安装

    先安装 helm chart 并创建 ns:

    helm repo add rancher-stable http://rancher-mirror.oss-cn-beijing.aliyuncs.com/server-charts/stable

kubectl create namespace cattle-system

    SSL 选项为：已有的证书，通过 Helm 安装 Rancher:

    先添加证书到 k8s secret:

    kubectl -n cattle-system create secret tls tls-rancher-ingress \
  --cert=tls.crt \
  --key=tls.key

    helm install rancher rancher-stable/rancher \
 --namespace cattle-system \
 --set hostname=<your-rancher-domain> \
 --set replicas=3 \
 --set ingress.tls.source=secret \
 --set systemDefaultRegistry=registry.cn-hangzhou.aliyuncs.com \
 --set auditLog.level=1 \

    运行后输出如下：

    NAME: rancher
LAST DEPLOYED: Sat Feb 12 20:10:14 2022
NAMESPACE: cattle-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Rancher Server has been installed.

NOTE: Rancher may take several minutes to fully initialize. Please standby while Certificates are being issued, Containers are started and the Ingress rule comes up.

Check out our docs at https://rancher.com/docs/

If you provided your own bootstrap password during installation, browse to https://<your-rancher-domain> to get started.

If this is the first time you installed Rancher, get started by running this command and clicking the URL it generates:

echo https://<your-rancher-domain>/dashboard/?setup=$(kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}')

To get just the bootstrap password on its own, run:

kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{ "\n" }}'

Happy Containering!

    之后访问 UI 进行初始密码设置等工作。

    🎉 至此，Rancher 高可用集群安装完成。

    Rancher 中国区优化配置

    参考这里：

    收尾工作

    调整安全组

    入站规则：

    1. TCP:22(SSH) 端口权限收紧
    2. TCP:6443(K8S API) 端口权限收紧
    3. UDP:8472(K3s vxlan) 只开放给内网
    4. TCP:10250(kube api-server) 只开放给内网

    最终效果如下：（应该可以进一步收紧）

    Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群-LMLPHP

    配置 LB

    如上面所述，所以通过 4 层 LB, 将 443/tcp 转到后端。如下图：

    Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群-LMLPHP

    配置 Rancher Backup

    通过 UI 安装：

    先创建 cos 存储的认证信息 Secret:

    apiVersion: v1
stringData:
  accessKey: <your-ak>
  secretKey: <your-sk>
kind: Secret
metadata:
  name: cos-creds
  namespace: cattle-resources-system
type: Opaque

    然后在 应用市场 选择 Rancher Backup 安装：

    Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群-LMLPHP

    配置 对象存储：

    Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群-LMLPHP

    安装成功日志如下：

    
helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-crd-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup-crd /home/shell/helm/rancher-backup-crd-2.1.0.tgz
...
---------------------------------------------------------------------
SUCCESS: helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-crd-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup-crd /home/shell/helm/rancher-backup-crd-2.1.0.tgz
---------------------------------------------------------------------
helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup /home/shell/helm/rancher-backup-2.1.0.tgz
...
---------------------------------------------------------------------
SUCCESS: helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup /home/shell/helm/rancher-backup-2.1.0.tgz
---------------------------------------------------------------------

    配置 Backup, 如下：

    Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群-LMLPHP

    🎉 登录 COS 发现已经成功备份。

    总结

    🎉🎉🎉 至此，完成腾讯云上 K3S 高可用集群 及 Rancher 高可用集群的搭建，并配置备份。

    以下是安装的相关信息：

    K3s

    1. 3 个 Master 和 Server 地址

    2. K3S API Server 地址：https://<3个master IP 地址任一个>:6443 (6443 端口目前没有配置 CLB)

    3. K3S kubeconfig 配置：位于 k3s 的/etc/rancher/k3s/k3s.yaml 以及操作机的 /root/.autok3s/.kube/config

    Rancher

    1. 地址：
      1. 公网访问：https://<your-rancher-domain>:<port>/
      2. 内网访问：https://<your-rancher-domain>:443 （需要编辑自己电脑的 hosts , 将 3 个 master 任一内网 IP 映射到该域名）
    2. 账号：Admin
    3. 密码

    安全组

    使用的安全组，最终配置如下：（应该可以进一步收紧）

    Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群-LMLPHP

    CLB

    使用的 CLB

    监听器为：rancher(TCP:<port>) 转到 3 台 master 的 443 端口。

    备份 COS

    K3S 和 Rancher 都配置了备份，备份到对象存储 cos 中。具体的地址为：

    1. 桶：rancher-backup-
    2. 域名：https://rancher-backup-<cos-id>.cos.ap-shanghai.myqcloud.com
    3. S3 Endpoint: cos.ap-shanghai.myqcloud.com
    4. 文件夹为：
      1. k3s 为：/rancher-1/rancher/rancher（备份策略：每天 0 点备份，保留 5 份）
      2. rancher 为：/rancher-1/rancher/k3s （备份策略，每天 0 点备份）
    5. COS 生命周期为：自动清理 1 个月前的文件。（配置 自动清理规则）
    03-25 15:03
    Powered by LMLPHP ©2024 东风微鸣 0.003133