HDFS 上查找数据的 Kafka Streams

本文介绍了在 HDFS 上查找数据的 Kafka Streams的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 我正在使用 Kafka Streams (v0.10.0.1) 编写一个应用程序,并希望使用查找数据来丰富我正在处理的记录.这些数据(带时间戳的文件)每天(或每天 2-3 次)写入 HDFS 目录.I'm writing an applicat...

每次触发后如何更新HDFS文件?

让我说我已经开始流媒体并且我在目录中添加了file-1.csv ...什么都没有写入HDFS位置..然后我已经添加了file-2.csv ..仍然没有将其写入HDFS ,接下来我添加了file-3.csv ..这一次,file-1.csv的已处理文件正在写入HDFS ... File 1 - no prcessFile 2 - no processFile 3 - process and writt...

Hive 为 HDFS 中的每个插入创建多个小文件

本文介绍了Hive 为 HDFS 中的每个插入创建多个小文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 以下已经实现Kafka Producer 使用 Spark Streaming 从 Twitter 提取数据.Kafka 消费者将数据提取到 Hive 外部表(在 HDFS 上).虽然到目前为止工作正常.我只面临一个问题,当我的应用程序将数据插入...

Hive为HDFS中的每个插入创建多个小文件

本文介绍了Hive为HDFS中的每个插入创建多个小文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 以下内容已经实现 Kafka Producer使用Spark Streaming从twitter中提取数据。 > Kafka Consumer将数据导入Hive External table(在HDFS上)。 虽然目前工作状况良好。 只有一个我正面临的问题...

使用Flume将文件从远程节点传输到HDFS

本文介绍了使用Flume将文件从远程节点传输到HDFS的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 我有一堆压缩成* gz格式的二进制文件。它们在远程节点上生成,并且必须传输到位于数据中心服务器之一的HDFS上。 我正在探索使用Flume发送文件的选项;我研究了使用假脱机目录配置来执行此操作的选项,但显然这仅适用于文件目录本地位于同一HDFS节点上的情况...

如何连接到远程HDFS

本文介绍了如何连接到远程HDFS的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 我在Windows机器上运行eclipse,并且HDFS在Unix机器上运行。 我试图连接到运行在远程机器上的HDFS实例。 。这是我已经尝试过的。 Configuration conf = new Configuration(); conf.set(fs.defaultFS,...

从远程主机访问HDFS通过Java API,用户认证

本文介绍了从远程主机访问HDFS通过Java API,用户认证的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 我需要通过Java API来使用HDFS集群的远程桌面。直到它写访问一切正常确定。如果我试图创建的任何文件,我收到访问权限例外。路径看起来不错,但异常指示这当然是我的远程桌面的用户名是不是我需要访问所需的HDFS目录。I need to use ...

hdfs(namenode)中使用的名称空间和元数据的含义是什么?

本文介绍了在hdfs(namenode)中使用的名称空间和元数据的含义是什么?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 作为hadoop的初学者,我对这些单词命名空间和元数据感到困惑。这两者之间是否有任何关系?根据'Hadoop权威指南' - NameNode管理文件系统命名空间。它维护树中所有文件和目录的文件系统树和元数据。 本质上,名称空间表示一...

LeaseExpiredException:HDFS上无租约错误(无法关闭文件)

本文介绍了LeaseExpiredException:HDFS上无租约错误(无法关闭文件)的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 我试图将大数据加载到HIVE中的动态分区表中。 我一直在收到这个错误。如果我没有分区加载数据,它工作正常。如果我使用较小的数据集(使用分区),它也可以正常工作。但对于大型数据集,我开始得到这个错误 错误: 2014-11...

如何强制STORE(覆盖)到Pig中的HDFS

本文介绍了如何强制STORE(覆盖)到Pig中的HDFS?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述 在开发使用 STORE 命令的Pig脚本时,我必须删除每次运行的输出目录,否则脚本停止并提供: 2012-06-19 19:22:49,680 [main] ERROR org.apache.pig.tools.grunt.Grunt - 错误6000...
© 2024 LMLPHP 关于我们 联系我们 友情链接 耗时0.004665(s)
2024-03-29 20:06:33 1711713993