[平台建设] Spark任务的诊断调优

背景平台目前大多数任务都是Spark任务,用户在提交Spark作业的时候都要进行的一步动作就是配置spark executor 个数、每个executor 的core 个数以及 executor 的内存大小等,这项配置目前基本靠用户个人经验,在这个过程中,有的用户就会设置非常不合理,比如配置的内存非常大,实际上任务运行时所占用的内存极少. 基于此,希望能有工具来针对任务进行分析,帮助用户来监控和调优任务...

[平台建设] 大数据平台如何实现任务日志采集

背景平台任务主要分3种: flink实时任务, spark任务,还有java任务,spark、flink 我们是运行在yarn 上, 日常排错我们通过查看yarn logs来定位, 但是会对日志存储设置一定的保留时间, 为了后续更好排查问题,希望能够将spark、flink、java任务都收集起来存储到ES中,提供统一查询服务给用户. 这是设计的动机.针对这个想法,主要要解决几个问题? Flink、S...

[平台建设] HBase平台建设实践

ase 版本:HBase 1.2.0-cdh5.16.2Hadoop: 2.6.0-cdh5.16.2目前主要应用场景: 实时计算如商品、商家等维度表去重逻辑中间件服务等监控数据用户画像 平台建设建表管理1.指定命名空间HBase系统默认定义了两个缺省的namespace: hbase:系统内建表,包括namespace和meta表default:用户建表时未指定namespace的表...
© 2022 LMLPHP 关于我们 联系我们 友情链接 耗时0.007155(s)
2022-01-28 20:28:15 1643372895