问题描述
我写了一个写给hadoop HDFS的类。
我正在使用版本1.2.1的hadoop jar。
我想测试这个类。
所以基于博客，如我写了我的代码：
pre $ private $ createSimulatedHdfs （）;
// 100K blocksize
conf.setLong（DFSConfigKeys.DFS_BLOCK_SIZE_KEY，1024 * 100）;
conf.setLong（DFSConfigKeys.DFS_BLOCK_SIZE_KEY，100）;
conf.setInt（DFSConfigKeys.DFS_BYTES_PER_CHECKSUM_KEY，1）;
conf.setLong（DFSConfigKeys.DFS_HEARTBEAT_INTERVAL_KEY，DFS_REPLICATION_INTERVAL）;
conf.setInt（DFSConfigKeys.DFS_NAMENODE_REPLICATION_INTERVAL_KEY，DFS_REPLICATION_INTERVAL）;
try {
//模拟的HDFS
cluster = new MiniDFSCluster（conf，DATANODE_COUNT，true，null）;
cluster.waitActive（）;
simulatedHdfs = cluster.getFileSystem（）;
} catch（IOException e）{
Assert.fail（Could not create simulated HDFS+ e.getMessage（））;
}
}
但是当运行 new MiniDFSCluster 运行异常：
java.lang.AssertionError：无法创建模拟的HDFS Can not运行程序du：CreateProcess error = 2，系统无法在com.taptica.hdfs.writer上的org.junit.Assert.fail（Assert.java:88）
处找到指定
的文件。 HdfsWriterUTest.createSimulatedHdfs（HdfsWriterUTest.java:101）
在com.taptica.hdfs.writer.HdfsWriterUTest.initJunitModeTest（HdfsWriterUTest.java:42）
在com.taptica.hdfs.writer.HdfsWriterUTest.writeTest（ HdfsWriterUTest.java:50）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（来源不明）
在sun.reflect.DelegatingMethodAccessorImpl.invoke （未知源）
在java.lang.reflect.Method.invoke（未知源）
在org.junit.runners.model.FrameworkMethod $ 1.runReflectiv紧急呼叫（FrameworkMethod.java:47）
在org.junit.internal.runners.model.ReflectiveCallable.run（ReflectiveCallable.java:12）
在org.junit.runners.model.FrameworkMethod.invokeExplosively（ FrameworkMethod.java:44）
at org.junit.internal.runners.statements.InvokeMethod.evaluate（InvokeMethod.java:17）
at org.junit.runners.ParentRunner.runLeaf（ParentRunner.java：在org.junit.runners.BlockJUnit4ClassRunner.runChild（BlockJUnit4ClassRunner.java:70 271）
）
在org.junit.runners.BlockJUnit4ClassRunner.runChild（BlockJUnit4ClassRunner.java:50）
。在组织.junit.runners.ParentRunner $ 3.run（ParentRunner.java:238）
at org.junit.runners.ParentRunner $ 1.schedule（ParentRunner.java:63）
at org.junit.runners.ParentRunner .runChildren（ParentRunner.java:236）
在org.junit.runners.ParentRunner.access $ 000（ParentRunner.java:53）
在org.junit.runners.ParentRunner $ 2.evaluate（ParentRunner.java ：229）在org.junit.runners.ParentRunner上
。运行（ParentRunner.java:309）
在org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run（JUnit4TestReference.java:50）
在org.eclipse.jdt.internal.junit。 runner.TestExecution.run（TestExecution.java:38）
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests（RemoteTestRunner.java:467）
at org.eclipse.jdt。 internal.junit.runner.RemoteTestRunner.runTests（RemoteTestRunner.java:683）
在org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run（RemoteTestRunner.java:390）
。在组织。 eclipse.jdt.internal.junit.runner.RemoteTestRunner.main（RemoteTestRunner.java:197）
我没有在我的本地环境中安装hadoop（我不打算这么做）。
我该如何解决这个问题？
对于JUnit测试，本地文件系统可以在没有安装Hadoop的情况下使用第三方utils：
LocalFileSystem fs = FileSystem.getLocal（new Configuration（））;
另外请看一下MRunit，MR测试的有用工具：
I wrote a class that writes to hadoop HDFS.I'm using hadoop jars of version 1.2.1.
I would like to test this class.So based on blogs such as this one I wrote my code:
private void createSimulatedHdfs() {
conf = new Configuration();
// 100K blocksize
conf.setLong(DFSConfigKeys.DFS_BLOCK_SIZE_KEY, 1024 * 100);
conf.setLong(DFSConfigKeys.DFS_BLOCK_SIZE_KEY, 100);
conf.setInt(DFSConfigKeys.DFS_BYTES_PER_CHECKSUM_KEY, 1);
conf.setLong(DFSConfigKeys.DFS_HEARTBEAT_INTERVAL_KEY, DFS_REPLICATION_INTERVAL);
conf.setInt(DFSConfigKeys.DFS_NAMENODE_REPLICATION_INTERVAL_KEY, DFS_REPLICATION_INTERVAL);
try {
// simulated HDFS
cluster = new MiniDFSCluster(conf, DATANODE_COUNT, true, null);
cluster.waitActive();
simulatedHdfs = cluster.getFileSystem();
} catch (IOException e) {
Assert.fail("Could not create simulated HDFS " + e.getMessage());
}
}
But when running the new MiniDFSCluster running into an exception:
java.lang.AssertionError: Could not create simulated HDFS Cannot run program "du": CreateProcess error=2, The system cannot find the file specified
at org.junit.Assert.fail(Assert.java:88)
at com.taptica.hdfs.writer.HdfsWriterUTest.createSimulatedHdfs(HdfsWriterUTest.java:101)
at com.taptica.hdfs.writer.HdfsWriterUTest.initJunitModeTest(HdfsWriterUTest.java:42)
at com.taptica.hdfs.writer.HdfsWriterUTest.writeTest(HdfsWriterUTest.java:50)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:47)
at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:44)
at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:271)
at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:70)
at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:50)
at org.junit.runners.ParentRunner$3.run(ParentRunner.java:238)
at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:63)
at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:236)
at org.junit.runners.ParentRunner.access$000(ParentRunner.java:53)
at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:229)
at org.junit.runners.ParentRunner.run(ParentRunner.java:309)
at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:50)
at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467)
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683)
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390)
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197)
I did not install hadoop on my local env (and I don't intend doing so).how can I get over this one?
For JUnit testing local file system can be used without Hadoop installation and third-party utils:
LocalFileSystem fs = FileSystem.getLocal(new Configuration());
Also take a look on MRunit, helpfull utility for MR testing: http://mrunit.apache.org/
这篇关于使用MiniDFSCluster单元测试hadoop hdfs着作的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！