要设置一个简单的 hadoop 项目,我正在学习本教程:http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

我的 hadoop 单节点似乎运行正常。

当我使用以下代码指定 In 文件夹时:

FileInputFormat.setInputPaths(conf, new Path("In"));

我收到此错误:
13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

目前 In 文件夹创建于 C:\homedir\hadoop-1.0.4\In
我需要在哪里创建“In”文件夹,以便它出现在 hdfs://localhost:9100/user/DEVUSER/In 中?我是否需要更新 xml 文件以指向本地文件系统上的文件夹?

最佳答案

您需要先将输入文件上传到 HDFS 文件系统:

bin/hadoop fs -mkdir In

将在 HDFS 中创建一个名为 /user/DEVUSER/In 的目录。
bin/hadoop fs -put *.txt In

将所有 *.txt 文件从当前目录复制到集群 (HDFS)。

您似乎跳过了教程中的第 Upload data 章。按照它,你的问题应该得到解决。

关于hadoop - 第一个hadoop项目错误: "Input path does not exist",我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/15191832/

10-16 16:17