如何在Java客户端中获取HDFS服务器元数据信息？
本文介绍了如何在Java客户端中获取HDFS服务器元数据信息？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我需要构建一个实用程序类来测试与HDFS的连接。测试应显示HDFS的服务器端版本和任何其他元数据。虽然，有很多客户端演示可用，但没有提取服务器元数据。 请注意，我的客户端是远程java客户端，没有hadoop和HDFS配置文件来初始化配置。我需要通...
如何读取HDFS中的文件，而不丢失列和行名称
本文介绍了如何读取HDFS中的文件，而不丢失列和行名称的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我的问题是，当我读取一个csv文件包含列名称例如（header），列的名称dissapear和V1，V2... 我有csv格式的 mtcars 数据集，这里是预览 model，mpg，cyl，disp，hp，drat，wt，qsec，vs，am，gear，...
阅读递归火花的Java API从HDFS中的所有文件
本文介绍了阅读递归火花的Java API从HDFS中的所有文件的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我使用的火花读取HDFS在一个RDD从目录中的所有文件的数据和它的子目录以及。我找不到任何有效的方法来做到这一点。于是，我试着写一些定制code，如下所示：I 'm using spark to read data of all files fr...
如何能一个列表星火斯卡拉内的HDFS的位置所有CSV文件的壳呢？
本文介绍了如何能一个列表星火斯卡拉内的HDFS的位置所有CSV文件的壳呢？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 这样做的目的是为了处理和保存每个数据文件的副本在HDFS第二位置。我将使用 RddName.coalesce（1）.saveAsTextFile（将pathName） 将结果保存到HDFS。 这就是为什么我想要做的每个文件分开，即使我相...
HDFS NFS位置使用奇怪的数字用户名值获取目录权限
本文介绍了HDFS NFS位置使用奇怪的数字用户名值获取目录权限的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 在NFS安装的HDFS位置的文件夹权限中看到用户名的废话值，而HDFS位置本身(使用Hortonworks HDP 3.1)看起来很好.例如Seeing nonsense values for user names in folder perm...
文件数量与HDFS中的块数
本文介绍了文件数量与HDFS中的块数的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我正在运行一个单节点hadoop环境。当我运行 $ hadoop fsck / user / root / mydatadir -block 时，我真的很困惑输出它： 状态：HEALTHY 总大小：998562090 B 共计目标：1 文件总数：50（当前正在编写的文件数：...
是否有一个hdfs命令按照时间戳列出HDFS目录中的文件
本文介绍了是否有一个hdfs命令按照时间戳列出HDFS目录中的文件的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 是否有hdfs命令按照时间戳，升序或降序列出HDFS目录中的文件？默认情况下， hdfs dfs -ls 命令提供未排序的文件列表。 Is there a hdfs command to list files in HDFS directory...
在Linux上的hdfs中更改现有用户的权限
本文介绍了在Linux上的hdfs中更改现有用户的权限的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我是Hadoop的新手，遇到了一个不确定的问题，我不确定该如何解决. I am new to Hadoop and I've run across an issue I'm not sure how to solve. 我有两个现有的HDFS用户:一个叫h...
HDFS上的root scratch dir：/ tmp / hive应该是可写的。当前权限为：rw-rw-rw-（在Windows上）
本文介绍了HDFS上的root scratch dir：/ tmp / hive应该是可写的。当前权限为：rw-rw-rw-（在Windows上）的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 我在Windows 7上运行Spark。当我使用Hive时，我看到以下错误： root scratch dir： HDFS上的/ tmp / hive应该是可写的。...
HDFS复制属性不反映在hfs-site.xml中定义的属性
本文介绍了HDFS复制属性不反映在hfs-site.xml中定义的属性的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述 < p>< p> ？xml version =1.0encoding =UTF-8？> <？xml-stylesheet type =text / xslhref =configuration.xsl？> <配置> <属性> < name>...