经过一些复杂的聚合后，我得到了这个“JavaPairRDD<HashSet<String>, HashMap<String, Double>>” RDD，想将结果保存到文件中。我相信saveAsHadoopFile是这样做的不错的API，但是在为saveAsHadoopFile(path, keyClass, valueClass, outputFormatClass, CompressionCodec)填写参数时遇到了麻烦。有人可以帮忙吗？
最佳答案
您可以使用以下函数，稍后再将其解析为所需的结果。
rdd.saveAsTextFile ("hdfs:///complete_path_to_hdfs_file/");
但是，如果要使用saveAsHadoopFile API，则可以使用以下方法。
saveAsHadoopFile(complete_path_to_file, HashSet.class, HashMap.class, TextOutputFormat.class)
您还可以使用
HadoopOutputFormat.class作为最后一个参数有关更多信息，您可以引用此链接
HadoopFile
关于java - Java Spark如何将JavaPairRDD <HashSet <String>，HashMap <String，Double >>保存到文件？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50055414/