提问者:小点点

hadoop:0减速机和标识减速机的区别?


我只是想确认我对0减速机和身份减速机区别的理解。

  • 0减速器表示将跳过减少步骤,映射器输出将是最终输出
  • 身份简化意味着洗牌/排序仍然会发生?

共3个答案

匿名用户

你的理解是正确的。我会将其定义为:如果你不需要对映射结果进行排序——你将0设置为还原,该作业仅称为映射。
如果你需要对映射结果进行排序,但不需要任何聚合——你选择身份还原器。
为了完成图片,我们有第三种情况:我们确实需要聚合,在这种情况下,我们需要还原器。

匿名用户

使用身份缩减器的另一个用例是将所有结果组合成

匿名用户

“无减速机”(mapred.减速机=0)和“标准减速机”(IdtyReducer)(mapred.减速机=1等)的主要区别在于,当您使用“无减速机”时,没有分区