浅谈HadoopYARN中的事件驱动机制

作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-event-driven/ 1. 函数调用与事件驱动 在基于函数调用的编程方式中，当一个对象要向另外

作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-event-driven/

1. 函数调用与事件驱动

在基于函数调用的编程方式中，当一个对象要向另外一个对象传递信息时，会直接采用函数调用的方式。比如在Hadoop中，当TaskTracker需要执行一个Task时，一般首先下载Task以来的文件（jar包、二进制文件等、字典文件等）、然后执行Task，同时在整个过程中，会记录一些关键日志，该过程可用下图表示：

基于函数调用的编程模型是低效的，它隐含中整个过程是串行、同步进行的。一种更为先进的编程模型是事件驱动，这在Hadoop YARN和Mesos等分布式系统中得到了广泛应用。在基于事件驱动的编程模型中，所有对象被抽象成了事件处理器，而事件处理器之间通过事件相互关联。每种事件处理器处理一种类型的事件，同时根据需要触发另外一种事件，该过程如下图所示。

相比于基于函数调用的编程模型，这种编程方式具有异步、并发等特点，更加高效，因此更加适合大型分布式系统。

2. Hadoop YARN中的事件驱动

我们以Hadoop中的调度器框架为例说明基于事件驱动的开发模块给Hadoop带来的变化。在Hadoop 1.0中，Hadoop中的调度器是可插拔的，一次调度过程如下所示：

步骤1???? TaskTracker向JobTracker发送心跳，请求新的任务

步骤2???? JobTracker收到心跳信息后，调用TaskScheduler（可能是JobQueueTaskScheduler、FairScheduler或者CapacityTaskScheduler）的assignTasks()函数，为该TaskTracker分配任务。

步骤3???? TaskScheduler通过一定的策略选择一个或者多个任务，并返回给JobTracker

步骤4???? JobTracker通过心跳应答将任务发给TaskTracker。

注意，上面的步骤1~4是一气呵成的，仅当这四个步骤全部完成，一次心跳发送才算完成。

而在YARN中，由于采用了事件驱动，资源汇报和任务获取可异步进行。如下图所示，NodeManager向ResourceManager汇报心跳信息后，ResourceManager会简单收集一些信息直接返回给对应的NodeManager，同时触发一个NODE_UPDATE事件，该事件会被ResourceScheduler接收并处理，如果ResourceScheduler发现节点有空闲资源，则采用一定的分配算法将该资源分配给应用程序，并将分配结果暂时放到一个缓冲区中，等待ApplicationMaster自己来取。

总之，采用事件驱动之后，ResourceManager中的心跳处理和资源分配可以异步并发进行，而不像JobTracker那样同步串行进行。

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-event-driven/

作者：Dong，作者介绍：http://dongxicheng.org/about/