Camus Migration - Kafka HDFS Connect 没有从设置的偏移量开始
本文介绍了Camus Migration - Kafka HDFS Connect 没有从设置的偏移量开始的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我目前正在使用 Confluent HDFS Sink Connector (v4.0.0) 来替换 Camus.我们正在处理敏感数据，因此我们需要在切换到连接器期间保持偏移量的一致性.I am cur...
hdfs put/moveFromLocal是否不在数据节点之间分配数据?
本文介绍了hdfs put/moveFromLocal是否不在数据节点之间分配数据?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我发现了类似的问题 Hadoop HDFS不能平均分配数据块 I found similar question Hadoop HDFS is not distributing blocks of data evenly但是我...
Spark:将大文件写入HDFS时不允许自我抑制
本文介绍了Spark:将大文件写入HDFS时不允许自我抑制的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我正在使用Spark将大文件写入HDFS.基本上我要做的是加入3个大文件，然后使用toJSON()将结果数据帧转换为json，然后使用saveAsTextFile将其保存到HDFS.最终要写入的文件约为4TB.该应用程序运行非常缓慢(如我预期的那样?)...
如何在Spark Scala中重命名S3文件而不是HDFS
本文介绍了如何在Spark Scala中重命名S3文件而不是HDFS的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我在S3中存储了大约一百万个文本文件.我想根据文件夹名称重命名所有文件.I have approx 1 millions text files stored in S3 .I want to rename all files based...
HDFS联合会未知命名空间
本文介绍了HDFS联合会未知命名空间的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 假设我已经分别配置了两个名称节点来管理/营销和/财务。我想知道如果将文件放在/ accounting目录中会发生什么情况。 HDFS会接受这个文件吗？如果是这样，哪个命名空间管理文件？ 解决方案写入失败。 您将得到一个 IOException ，并带有没有这样的名称空间文件...
参数“mapred.min.split.size”的行为在HDFS中
本文介绍了参数“mapred.min.split.size”的行为在HDFS中的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 参数mapred.min.split.size更改之前写入文件的块的大小？ 假设我在启动我的JOB时传递值为134217728（128MB）的参数mapred.min.split.size。 什么是正确的说什么发生？ 1 - 每个M...
在core-site.xml中设置fs.default.name将HDFS设置为Safemode
本文介绍了在core-site.xml中设置fs.default.name将HDFS设置为Safemode的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我在一台机器上以伪分布模式安装了Cloudera CDH4发行版，并成功测试了它的工作正常（例如，可以运行MapReduce程序，在Hive服务器上插入数据等）。但是，如果我有机会 core-site.x...
Hadoop：不能在core-site.xml中将默认FileSystem设置为HDFS
本文介绍了Hadoop：不能在core-site.xml中将默认FileSystem设置为HDFS的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我在伪分布式模式下使用Hadoop 1.0.3。我的conf / core-site.xml设置如下： < configuration> <属性> <名称> fs.default.name< /名称> < val...
在C ++（libhdfs）中编写hdfs中的文件
本文介绍了在C ++（libhdfs）中编写hdfs中的文件的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我试图用C ++编写一个接口，使用libhdfs.so在hdfs中编写文件。我的目标hadoop版本是2.0.2-alpha I am trying to write an interface in C++ to write files in hdf...
基于时间的桶记录(kafka-hdfs-connector)
本文介绍了基于时间的桶记录(kafka-hdfs-connector)的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我正在尝试使用 Confluent 平台提供的 kafka-hdfs-connector 将数据从 Kafka 复制到 Hive 表中.虽然我能够成功做到这一点，但我想知道如何根据时间间隔对传入的数据进行存储.例如，我想每 5 分钟创建一个...