林顺利,腾讯云原生产品经理,负责分布式云产品迭代和注册节点客户扩展,专注于云原生混合云新形态的推广实践。

背景

企业在持续业务运维过程中,感受到腾讯云 TKE 带来的便捷性和极致的使用体验,将新业务的发布以及老业务都迁移到云上 TKE 来实现。但很多企业数据中心建设较为早期,选型上采取了自建 IDC 机房的方案,长久以来的 IDC 运营维护和企业上云的诉求产生了冲突和矛盾

1、资源难利旧/利用率低

  • 业务大部分在云上运行,存量的 IDC 主机难以利旧;
  • 云下资源业务利用率低(主要是 CPU 资源),平均不超过20%,资源浪费严重;
  • 对于 GPU 只能实现整卡利用,多数业务运行达不到单卡门槛时产生了 gpu 资源浪费;

2、运维成本高

  • 自建 Kubernetes 带来了运维的部署交付和维护成本;
  • Kubernetes 的升级维护、组件(如 kubelet)的升级维护带来了运维的持续运营成本;
  • 自建集群出现问题时,尤其是系统组件问题场景下,故障定位难,修复成本高;
  • 基于自建集群,实现运维的监控需求,要求运维进一步自建监控系统、日志系统,增加了运维复杂度;

3、难以统一调度

  • 云上已经使用容器服务,云下有物理机,难以打通云上云下资源,实现统一调度和管理;
  • 云上和云下资源分布在不同的地域,难以将不同地域的资源放在一个集群中统一管理;

云上和云下的统一纳管

如何解决企业 IDC 和上云的冲突问题?这似乎在过去已经有了答案 - 混合云部署。但是当下,我们面临的是云原生的新场景而非单纯的上云,因此,我们基于传统混合云的解决方案进一步深入思考,首创出 IDC 轻量级云原生解决方案 - 注册节点 :IDC 节点和 TKE 打通,云上作为管控面来提供管理、调度、监控能力,云下 IDC 作为支撑面来实际承载业务运行。在满足企业资源利旧、托管运维、混合部署/调度等云化场景的同时,将云上关于降本增效的核心特性下沉到 IDC 节点实现无缝集成,进一步促进了 IDC 节点资源的有效、高效利用。
TKE 注册节点,IDC 轻量云原生上云的最佳路径-LMLPHP

TKE 注册节点的核心特性

  • 成本洞察:可视化监控各种类型工作负载下各项维度指标的使用情况,帮助用户发现资源浪费;
  • Crane:负载资源配额的智能推荐和节点上业务的专有调度,提高资源利用率;
  • qGPU:强隔离的 GPU 虚拟化技术,业务分配 GPU 不是按整卡而是可按1/10卡做细粒度的分派,减少 GPU 资源浪费;
    TKE 注册节点,IDC 轻量云原生上云的最佳路径-LMLPHP

注册节点已经支持腾讯上万台 IDC 节点,CPU 累计超过500w核,成为 IDC 节点轻量上云新范式。在上云同时,平台侧借助云原生资产大盘的资源监控和 crane 的专有调度能力,提升了 IDC 节点的资源利用率,节点资源平均水位值由 15% 迁越至 50%。

注册节点,IDC 轻量级云原生最佳路径

TKE 注册节点是针对混合云部署场景,全新升级的节点产品形态,解决了企业在 IDC 运维过程中面临的各类问题:

  1. 资源利旧和利用率提升

    充分利用 IDC 资源,并通过 Request 推荐、动态调度、节点超卖等能力进一步提升 IDC 资源的利用率。同时针对于 GPU 资源使用,提供厘核级算力隔离与多优先级混部。

  2. 节点托管运维

    免去在本地搭建、运维 k8s 集群的成本,无缝集成腾讯云云原生相关服务,涵盖日志、监控、审计、存储、容器安全等能力,用户仅需要运维本地服务器即可,并提供节点声明式运维的能力,支持节点快速升级及回滚。

  3. 云上云下统一调度

    支持在单集群内同时调度本地节点与云上 CVM 节点,便于将云下业务拓展至云上,同时无需引入多集群管理。

注册节点产品能力

云上能力赋能云下

  • 可视化资源监控:通过 CPU/内存利用率、节点装箱率等指标直观展示成本消耗和资源浪费现状;
  • 业务配额智能推荐:根据业务 Pod 的历史水位,帮助用户推荐、配置合理的 request;
  • GPU 共享有效利用:提供了 qGPU 能力,qGPU 是内核级别 GPU 虚拟化技术,实现 GPU 共享和强 QoS 隔离,性能几乎零损耗;
  • 动态调度、重调度:提供目标利用率配置能力,基于真实利用率调度,保持节点在安全水位;

IDC 资源利旧和托管免运维

IDC 注册节点托管至云上,作为 TKE 的worker节点承载业务,天然实现了资源利旧;控制面在云上 TKE,集群组件的运维、升级、持续运营都由 TKE 自动化实现。

提升 IDC 节点利用率

基于 Crane 的专有调度器提供了节点超卖的能力,用户可以自主配置节点的放大系数,业务动态调度至放大节点上,提升了节点的装箱率并进一步提升了节点的利用率。

统一纳管云上和云下节点

云上节点和注册节点通过不同的节点池来进行管理,业务资源调度时可指定节点池和节点类型,可以实现云上云下相互弹性。

注册节点使用场景

企业 IDC 资源利旧

企业 IDC 中存在各类急需有效利旧的服务器节点,包括 闲置节点、老旧节点、退保节点等,这些节点面临诸多问题:

  • 机器是异构的,难以统一满足业务的诉求;
  • 老旧机器的运维复杂,难度高;
  • IDC 节点资源利用率低,浪费严重;
  • 本地私有容器化建设和维护成本高;

通过注册节点的方案,企业在极短时间内就能够完成 IDC 节点接入 TKE 的动作(单节点10min内接入),使用 TKE 服务。并且,进一步

  • 复用 TKE 云上能力,包括监控,日志,安全等;
  • 提升了资源利用率:复用云上节点利用率提升方案,最高可提升5倍;
  • 方便升级运维:云上集群自动升级,节点可设置升级窗口升级;

GPU 细粒度分配

当用户业务 pod 需要使用 GPU 资源且使用量较低甚至不满1卡时,如果采用 Kubernetes 原生的GPU 配额机制会造成资源浪费。

注册节点无缝集成了腾讯云 qGPU 技术,支持在多个容器间共享 GPU 卡并提供容器间显存与算力强隔离的能力,从而在更小粒度使用 GPU 卡的基础上,保证业务安全,达到提高 GPU 使用率、降低用户成本的目的。依赖底层强大的 qGPU 隔离技术,可做到 GPU 显存和算力的强隔离,共享使用 GPU 的同时,保证业务性能与资源不受干扰。

TKE 注册节点,IDC 轻量云原生上云的最佳路径-LMLPHP

多地域统一管理

用户在不同地域中都有存量的 IDC 机房场景下,想要实现统一的资源管理难度非常大,每个地域新建管理平面和业务发布流程增加了运维日常工作复杂度。

注册节点方案可以帮助用户将不同地域的 IDC 注册到同一个 TKE 集群中进行统一的管理运维,统一了管控入口,降低了运维的复杂度。
TKE 注册节点,IDC 轻量云原生上云的最佳路径-LMLPHP

云上云下容灾调度

负载+高可用的多集群、多套方案的运维成本高,而公有云和 IDC 资源的隔离性,天然适合用来企业落地业务的容灾场景,用户急需探寻如何通过云上云下实现容灾调度的需求。

注册节点方案中,业务可以自定义调度模式,用户可以自主选择将服务调度至云上还是云下,云上云下相互弹性,满足单集群容灾场景。
TKE 注册节点,IDC 轻量云原生上云的最佳路径-LMLPHP

如何创建注册节点

使用注册节点功能的前提条件:

节点注册步骤:

总结

腾讯云TKE中提供了3种节点运维的新范式:

  • 声明式节点运维-原生节点;
  • 有节点的 serverless – 超级节点;
  • IDC 轻量上云–注册节点;

3种节点类型分别面向客户不同的业务场景,TKE实现了一个集群中同时纳管这3种节点新范式和TKE普通节点的统一管理、调度方案。这也是腾讯云原生一贯的科技与人文观念,用融合的形态帮助客户解决各类业务支撑的问题、持续关注降低用户的运维成本。

我们希望通过企业渐进式上云最佳方案注册节点,最低成本的实现 IDC 业务原地云原生,用户可以便捷的、分钟级的获得云上云原生的能力,实现降本增效。

01-03 15:01