在Farn on Yarn上与Kafka并行
本文介绍了在Farn on Yarn上与Kafka并行的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我试图在我的Flink工作中与我的Kafka源代码保持并行，但是到目前为止我还是失败了.I am trying to have parallelism with my Kafka source within my Flink job, but I fai...
如何控制有多少执行程序在yarn-client模式下运行?
本文介绍了如何控制有多少执行程序在yarn-client模式下运行?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我有一个由5个节点组成的Hadoop集群，其中Spark在 yarn-client 模式下运行.I have a Hadoop cluster of 5 nodes where Spark runs in yarn-client mode....
在不安全的YARN群集中运行Spark时访问受保护的Hive
本文介绍了在不安全的YARN群集中运行Spark时访问受保护的Hive的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我们有两个cloudera 5.7.1群集，一个使用Kerberos进行安全保护，另一个使用不安全保护。 是否有可能在访问存储在安全集群中的配置单元表时使用不安全的YARN集群运行Spark？ （Spark版本为1.6） 如果是这样，你能否...
从YARN开始的H2O无法正常工作
本文介绍了从YARN开始的H2O无法正常工作的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 在CDH群集上启动H2o时，出现以下错误.我从他的网站下载了所有内容，并按照教程进行操作.我运行的命令是When I start H2o on a cdh cluster I get the following error. I downloaded everyt...
在 YARN 集群中提交作业之前，Flink TaskManager 不会启动
本文介绍了在 YARN 集群中提交作业之前，Flink TaskManager 不会启动的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我正在使用 Amazon EMR 在 YARN 上运行 Flink 集群.我的设置包括用于 1 个主节点和 2 个核心节点的 m4.large 实例.我已经使用以下命令在 YARN 上启动了 Flink CLuster:f...
GCP Dataproc-配置YARN公平调度程序
本文介绍了GCP Dataproc-配置YARN公平调度程序的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我试图建立一个dataproc集群，该集群一次只能计算一个作业(或指定的最大作业)，其余的将在队列中. 我找到了此解决方案，如何配置垄断FIFO YARN中的应用程序队列?，但是由于我总是在创建一个新集群，因此需要使它自动化.我已将其添加到集群创建中...
如何从Dask-Yarn作业中捕获工人的日志？
本文介绍了如何从Dask-Yarn作业中捕获工人的日志？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我尝试在〜/ .config / dask / distributed.yaml 和〜/ .config / dask / yarn.yaml中使用以下内容，logging-file-config: "/path/to/config.ini" 或lo...
AWS EMR上的YARN日志聚合 - UnsupportedFileSystemException
本文介绍了AWS EMR上的YARN日志聚合 - UnsupportedFileSystemException的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我努力为我的Amazon EMR群集启用YARN日志聚合。我正在关注这个配置文件： http://docs.aws.amazon.com/ElasticMapReduce/latest/Develop...
Spark提交YARN模式的HADOOP_CONF_DIR内容
本文介绍了Spark提交YARN模式的HADOOP_CONF_DIR内容的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我正在从我的开发机器启动spark-submit。 我试图在Hadoop集群上使用spark submit在YARN模式上启动spark任务。 p> 根据运行Spark在YARN 文档中，我应该为env var HADOOP_CONF_D...
什么是Spark中的yarn-client模式?
本文介绍了什么是Spark中的yarn-client模式?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 Apache Spark最近将版本更新为0.8.1，其中提供了yarn-client模式.我的问题是，yarn-client模式的真正含义是什么?在文档中说:Apache Spark has recently updated the version ...