Docker Registry 镜像仓库 (Docker Registry) 负责存储、管理和分发镜像，并且提供了登录认证能力，建立了仓库的索引。 镜像仓库管理多个 Repository， Repository 通过命名来区分。每个 Repository 包含一个或多个镜像，镜像通过镜像名称和标签 (Tag)来区分。 镜像仓库分类 按是否对外开放划分，也是研发人员常说的 （1）公有仓库：像阿里云、d...

一、SQl优化背景         每个sqlboy工作一段时间后都会面临这一个能力提升问题--Sql优化。本文通过更通俗易懂的话术讲解sql优化的策略内容。提供一个从业务需求探查到最终上线全流程的sql优化方案，如有缺失，希望大家多多交流补充。 二、SQL优化策略 数据探查阶段 业务探查：了解业务热点数据数据建表：合理分区、分桶数据开发阶段：较少输入，避免倾斜 分区裁剪和列裁剪：减少数据范围大小表关...

群的功能来看，离不开数据的支持。通常会针对营销或CRM建立专门的集市进行加工，有的称为客户集市或CRM集市、也有的叫营销集市。那数据支持主要有：         （1）客户360视图的加工：一般在数据仓库的汇总指标层会进行客户的视图加工，这部分可以直接提供给CRM系统或营销系统，以供其进行定制客户化的营销策略。         （2）提供所有账户和交易明细：主要进行客户经理业绩计算、营销活动和广告投入...

欺诈模型，它主要是识别假冒身份、虚假信息、批量薅羊毛等欺诈行为。随着机器学习和大数据的发展，其它的一些建模方式如决策树、深度神经网络也越来越多的应用到了风险建模中。         信用风险模型是数据仓库支持的重要数据应用之一，在风险建模分析阶段，数据仓库是建模样本数据以及衍生指标加工的主要提供者，业务人员一般在自助分析平台进行数据分析和建模，模型建立完成并部署后，会基于数据仓库数据进行模型效果的监控...

1 基础架构 && 流程 为研发提供标准的自动化研发构建服务，可以快速完成开发、测试和正式环境的资源部署； 1.1 基础架构图 ​ 1.2 基础流程： 研发人提交代码至代码仓库;编译流水线读取代码仓库中的build_spec.yaml 文件;构建 CI 集成编译流水线;将构建包推送至归档制品仓库和镜像仓库;触发部署流水线,进行CD部署操作;CD操作通过yaml文件完成Kubernetes 容器的更新...

多，有的是按天报送，有的是按月报送，为了保质保量的完成报送，各银行都会建立监管报送相关的系统进行数据加工校验。并由各负责的业务部门进行校验后通过人行或银保监的系统上报。各监管报送系统的数据来源就是数据仓库，一般会有专门的集市来加工监管报送中较复杂的数据，以便进行统一加工和交叉验证，对于简单的报送则直接从数据仓库获取数据即可。 人行和银保监会也会对各银行上报的数据进行校验，对于发现的数据问题会责成各银行...

  （1）由于分析的数据量大且有敏感信息，拿到测试环境进行分析不仅耗时长且存在数据脱敏不足导致敏感数据泄露的风险，因此数据分析平台都是在生产环境搭建；         （2）数据分析平台的数据源为数据仓库，为了不影响数据仓库生产环境批处理，因此需要在物理上将数据分析平台和数据仓库进行隔离。同时数据仓库与数据分析平台需要建立快速的数据通道，以便每天更新数据分析平台数据；         （3）不同的业务...

造成数据整体的管理是混乱的。数据安全：数据权限混乱，不知道谁在何时何地访问，遇到问题，无法有效追责；数据机密信息未做分层管理，导致机密信息泄露。  三、数据治理方案         本文主要聚焦于数据仓库开发相关的数据治理。在整个数据仓库开发的过程中，自始至终都会包含两个部分，一部分是数据仓库内部的自身建设；一方面是对接外部的数据需求。两者在整个数据仓库架构设计、开发落地中都是相辅相成的。      ...

        数据仓库作为全行数据中心能高效支持全行或全公司的统计 、数据分析工作，除了稳定的ETL架构、高效的数据处理能力，流畅的开发管理流程，还需要有全面的数据管理体系，确保提供的数据准确性和高质量。数据管理主要有数据标准，元数据和数据质量3方面。那数据治理是指对没有规范或者不符合规范的数据进行清理并建立标准和规范，那也是从这3方面着手。那这三方面的数据管理也是全行级的管理，并不仅仅限于数据仓库...

易管理、逾期管理、统计分析等功能。        技术架构是指从技术实现层面描述系统，主要是根据系统架构组成部分确定每层使用什么技术框架，例如中间件、WebService等。        那对于数据仓库系统群具体可以分为哪些部分以及他们的具体实现技术如何呢？以下是银行数据仓库的系统功能图： 1、数据源：主要是指行内交易系统、外部采购或合作的第三方数据等3类、包括结构化数据以及非结构化的数据，结构化数...