menu

2018-11-11 MapReduce

  • date_range info
    sort
    Hadoop
    label
    hadoop
    Hadoop

Hadoop中MapReduce框架组成

MRFramework

JobTracker

负责调度构成一个作业的所有任务,这些任务分布在不同的TaskTracker上

TaskTracker

负责执行由JobTracker指派的任务

MapReduce输入输出

把作业的输入看成是一组<key,value>键值对,同样也产生一组<key,value>键值对作为作业的输出,这两组键值对有可能是不同的
MRI&O

MapReduce处理流程

以单词计数为例:
MRProcedure
1.1-1.4 map
2.1-2.3 reduce
Shuffle过程见Shuffle