哪个函数对Hadoop Src 2.7.1中Reduce阶段的Map任务输出进行排序,排序阶段何时开始?
我想知道,Hadoop中哪个函数负责对Map输出进行排序,使用的排序算法是什么?
地图输出在地图任务生成的中间KV(键值)对溢出期间使用快速排序技术进行排序,并将其发送到特定的减速器。
在减速机端,KV对再次使用合并排序技术进行排序并形成组。减速机端需要排序,因为相同的中间KV对可能来自n-no. of Map任务。