Mapreduce核心思想

  • 分治法
    两阶段

    拆分(map) ：将任务拆分成若干个简单的子任务并行处理
    合并(reduce)：对Map阶段的结果进行全局汇总

要保证每一个子问题拆分之后的互相独立的，不会出现互相依赖的问题

  • 如何对付大数据处理场景？
    拆分成多个没有互相依赖的子任务，并行计算
    image.png

  • 抽象编程模型
    借鉴的函数方式语言的思想
    map:一组数据进行重复的处理
    reduce：对Map的中间结果进行结果整理
    image.png
    Mapruduce定义了map和reduce两个接口，分别为
    map:(k1;v1)->(k2;v2)
    reduce:(k2;[v2])->(k3;v3)
    mapreduce处理的是<key,value>键值对

mapreduce介绍

  • 分布式计算
    将应用分解成许多的小部分，分配给多台计算机
    image.png
    mapreduce是一个分布式计算框架
    优点：

    易于编程
    良好的扩展性
    高容错性
    适合海量数据的离线处理

局限性（只能用于离线计算领域）

实时计算性能差
不能进行流式计算

mapruduce实例进程

三类

  • MRAppMaster 负责整个MR程序的过程调度以及状态协调

  • Maptask：负责map阶段的整个数据处理流程

  • Reducetask：负责reduce阶段的整个数据处理流程
    image.png

mapreduce概述

  • 一个编程模型的时候只能包含一个Map和一个reduce阶段

  • 不允许多次Map之后进行reduce，只能多个Mapreduce串行

  • 整个mapreduce的程序中，数据都是以Ky键值对的形式流转的

  • 一个完整的MR程序需要用户代码和Hadoop代码结合在一起才行

由于Mapreduce计算引擎的弊端，当下企业已经很少使用Mapreduce进行直接编程

示例

  1. PI计算
    image.png
    image.png
    image.png

  • 2 wordcount示例
    map阶段：把输入的数据进行切割，全部标记为1，输出为<单词，1>
    shuffle阶段：经过MR程序内部自带的默认的排序分组等功能，把key相同的单词作为一组数据构建新的Kv对
    reduce阶段：处理shuffle完的一组组数据，改组数据就是该单词所有的键值对，对所有的1进行累加求和
    image.png

MR流程

image.png

map流程

  • 第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。 默认 Split size = Block size (128M)，每一个切片由一个 MapTask 处理。（getSplits）

  • 第二阶段：对切片中的数据按照一定的规则读取解析返回 <key, value> 对。 默认是按行读取数据。key 是每一行的起始位置偏移量，value 是本行的文本内容。（TextInputFormat）

  • 第三阶段：调用 Mapper类中的map方法处理数据。 每读取解析出来的一个 <key, value>，调用一次 map 方法

  • 第四阶段：按照一定的规则对Map输出的键值对进行分区（partition）。默认不分区，因为只有一个ReduceTask。 分区的数量就是ReduceTask运行的数量。

  • 第五阶段：Map输出数据写入内存缓冲区，达到比例溢出到磁盘上。溢出（spill）的时候根据key进行排序（sort）。 默认根据key字典序排序。

  • 第六阶段：对所有溢出文件进行最终的合并（merge），成为一个文件。
    image.png

reduce流程

  • 第一阶段：ReduceTask 会主动从 MapTask 复制拉取属于需要自己处理的数据。

  • 第二阶段：把拉取来的数据，全部进行合并（merge），即把分散的数据合并成一个大的数据。再对合并后的数据排序。

  • 第三阶段：对排序后的键值对调用 reduce 方法。键相等的键值对调用一次 reduce 方法。最后把这些输出的键值对写入到 HDFS 文件中。
    image.png

shuffle机制

将Map端的无规则输出按照指定的规则打乱成具有一定规则的数据一边reduce端来接受处理
从Map端产生输出到reduce取得数据作为输入之前的过程称为shuffle

Map端Shuffle

  • Collect阶段：将MapTask的结果收集输出到默认大小为100M的环形缓冲区，保存之前会对key进行分区的计算，默认Hash分区。

  • Spill阶段：当内存中的数据量达到一定的阈值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了combiner，还会将有相同分区号和key的数据进行排序。

  • Merge阶段：把所有溢出的临时文件进行一次合并操作，以确保一个MapTask最终只产生一个中间数据文件。

Reducer端Shuffle

  • Copy阶段：ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据。

  • Merge阶段：在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。

  • Sort阶段：在对数据进行合并的同时，会进行排序操作，由于MapTask阶段已经对数据进行了局部的排序，ReduceTask只需保证Copy的数据的最终整体有效性即可。
    image.png