提问者:小点点

哪个函数对Hadoop Src 2.7.1中Reduce阶段的Map任务输出进行排序,排序阶段何时开始?


哪个函数对Hadoop Src 2.7.1中Reduce阶段的Map任务输出进行排序,排序阶段何时开始?

我想知道,Hadoop中哪个函数负责对Map输出进行排序,使用的排序算法是什么?


共1个答案

匿名用户

地图输出在地图任务生成的中间KV(键值)对溢出期间使用快速排序技术进行排序,并将其发送到特定的减速器。

在减速机端,KV对再次使用合并排序技术进行排序并形成组。减速机端需要排序,因为相同的中间KV对可能来自n-no. of Map任务。