Hadoop新特性、改进、优化和Bug分析系列1：YARN-378

作者: Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息：我的Hadoop新

作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/
本博客的文章集合:http://dongxicheng.org/recommend/

Hadoop jira链接：https://issues.apache.org/jira/browse/YARN-378
所属范围（新特性、改进、优化或Bug）：改进
修复版本：2.1.0-beta及以上版本
所属分支（Common、HDFS、YARN或MapReduce）：YARN
涉及模块：client, resourcemanager
英文标题：“ApplicationMaster retry times should be set by Client”

1. ?背景介绍

在Hadoop分支YARN中，当用户提交应用程序后（提交到ResourceManager上），ResourceManager首先要做的是为该应用程序申请资源以启动它的ApplicationMaster，而ApplicationMaster启动后，它（ApplicationMaster）负责应用程序内部任务的分解，监控、容错等。对于每个应用程序，由于只有一个ApplicationMaster，因此ApplicationMaster存在单点故障问题，一旦ApplicationMaster死掉，则整个应用程序可能会运行失败。当ResourceManager探测到ApplicationMaster运行失败（通过心跳超时机制）后，它会尝试在另外一个节点上重新启动该ApplicationMaster，通常而言，ApplicationMaster重启后，会恢复之前的运行状态（前提是ApplicationMaster上次死掉之前会记录一些日志在HDFS上），当然，这是ApplicationMaster自己的事情，ResourceManager无权干涉，ResourceManager要做的只是发现ApplicationMaster死亡后，重新为它申请资源在另外一个节点上启动。而本文介绍的这个特性则是如何指定每个应用程序ApplicationMaster的重试次数。

在2.1.0-beta版本之前，所有应用程序的ApplicationMaster重试次数是均是由ResourceManager决定的，管理员可通过配置参数yarn.resourcemanager.am.max-retries配置每个ApplicationMaster的重试次数，这个配置参数值适用于所有的应用程序，不可单独对单个应用程序定制化，而这个改进正是为了解决这个问题。

2. 解决思路

首先需要明确的是，这个改进的目的是，让用户可以为自己的应用程序定制ApplicationMaster的重试次数。

其次，这个重试次数将被两个组件用到，分别是ResourceManager和ApplicationMaster，其中ResourceManager用于决定，是否对失败的ApplicationMaster进行重试；ApplicationMaster用于决定，是否需要恢复上次运行时的状态（从第二次开始恢复），以从断点开始计算。

通常而言，有点经验的人，可能认为可以这样解决问题：将用户设置的值放到Configuration中，通过job.xml传递到ResourceManager和ApplicationMaster上，这样改动是最小的。但是很遗憾，客户端传递的job.xml只有ApplicationMaster会读取，而ResourceManager不会。

YARN 2.1.0-beta版本的解决方案如下：

（1） 客户端设置重试次数后，该值将被写入ProtocolBuffer对象ApplicationSubmissionContextProto中的新增字段maxAppAttempts中（在hadoop-yarn-project/hadoop-yarn/hadoop-yarn-api/src/main/proto/yarn_protos.proto中定义）；

（2） 客户端提交应用程序后，maxAppAttempts值会通过RPC函数传递给ResourceManager；

（3）ResourceManager判断maxAppAttempts是否为0，如果为0，则改为ResourceManager内部已经设置好全局值，由属性arn.resourcemanager.am.max-attempts指定，默认为1；

（4）ResourceManager为ApplicationMaster申请资源后，与对应的节点通信启动ApplicationMaster，启动之前，会将maxAppAttempts值通过环境变量“MAX_APP_ATTEMPTS”传递给它

（5） ApplicationMaster在main函数中读取环境变量MAX_APP_ATTEMPTS，然后开始执行。

这样，各个应用程序可根据实际需要单独向用户提供可配置AM尝试次数的参数，比如MapReduce的参数是mapreduce.am.max-attempts，用户设置了该参数后，参数值会经过以上5个步骤进行传递。

3. ?我们学到了什么

（1）善用环境变量传递信息，环境变量可由父进程传递给子进程；

（2）在YARN中，代码改动通常是链式的，也就是说，需要依次改动几个组件，比如该例子中，需要一次改动client、ResourceManager和ApplicationMaster的代码，改动代码之前，要规划好修改方案和估算好代码的改动幅度；

（3）当需要添加一种新的ApplicationMaster相关的可配置参数时，可仿照这个jira实现完成，比如，假设让ApplicationMaster支持多种容错机制（现在不支持），其中一种是ApplicationMaster死掉后，尽量尝试在原节点重启（通常，ApplicationMaster中运行的是服务时，需要这么做），而这样改动之后，需要用户指定应用程序采用的容错机制类别。

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-jira-yarn-378/

作者：Dong，作者介绍：http://dongxicheng.org/about/

本博客的文章集合:http://dongxicheng.org/recommend/