我正在使用2个映射器类和一个reducer编写MapReduce代码,但我不知道为什么我的reduce输出记录= 0。
请告诉我如何解决这个问题
package reducesidejoin;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
import java.util.Iterator;
public class ReduceSideJoinReducer extends Reducer<IntWritable,
Text, IntWritable, Text> {
@Override
public void reduce(IntWritable key, Iterable<Text> values,
Context context) throws IOException, InterruptedException {
String output = null;
Text achat;
Text vins;
Text valeur2;
Text valeur1;
Iterator<Text> itr = values.iterator();
valeur1 = itr.next();
if (valeur1.charAt(0) == 1) {
vins = valeur1;
while (itr.hasNext()) {
valeur2 = itr.next();
if (valeur2.charAt(0) == 2) {
achat = valeur2;
output = vins.toString() + achat.toString();
context.write(key, new Text(output));
}
context.write(key, new Text(output));
}
} else if (valeur1.charAt(0) == 2) {
achat = valeur1;
while (itr.hasNext()) {
valeur2 = itr.next();
if (valeur2.charAt(0) == 1) {
vins = valeur2;
output = vins.toString() + achat.toString();
System.out.println(key + "," + output);
}
context.write(key, new Text(output));
}
}
}
}
最佳答案
reducer 可以输出任何内容的唯一方法是如果您的字符比较正常。这是假设您实际上有记录输入 reducer 。
我来看看这些行:valeur1.charAt(0) == 1
您正在将一个整数与一个char比较,我怀疑您在寻找1
的可打印值(如果您进行了整数比较,则为49),因此您可能想要:valeur1.charAt(0) == '1'
您还会做很多-vins = valeur1;
,这会引起问题,因为hadoop将重新使用它通过Text
提供的Iterable
对象。
您应该将它们更改为vins.set(valeur1);