基于HadoopSLA认证机制实现权限控制

Hadoop集群上存储数据，同时基于MapReduce计算框架可以实现计算任务，那么无论是从数据保护的角度，还是从提交计算任务占用资源的角度来看，都需要存在一种权限管理与分配机制，能够很好地限制哪些人可以在HDFS上存储数据，哪些人可以利用集群的资源来处理特

Hadoop集群上存储数据，同时基于MapReduce计算框架可以实现计算任务，那么无论是从数据保护的角度，还是从提交计算任务占用资源的角度来看，都需要存在一种权限管理与分配机制，能够很好地限制哪些人可以在HDFS上存储数据，哪些人可以利用集群的资源来处理特定的计算任务。当然，如果能够非常完美地解决这些问题是最好的。当前Hadoop本身提供的权限管理功能还不能满足普遍的需要，或者我们从Hadoop已有的一些简单或复杂的认证机制选择适合自己所在组织机构需要的，或者我们在外围开发一些权限管理系统与Hadoop整合作为补充。
对比Kerberos认证（Authentication）配置方式与SLA授权（Service Level Authorization）方式，Kerberos配置相当复杂，而且还要依赖于外部的密钥分发中心KDC（Key Distribution Center）服务器，如果KDC出现问题，那么就会导致依赖于KDC认证的整个Hadoop集群无法使用，鉴于此，对于一些相对小的开发团队来说还是更倾向于粗粒度的Hadoop SLA授权机制。
Hadoop SLA基于Hadoop的各种服务（基于协议来划分）与Linux系统的用户、用户组来实现。Hadoop通过制定接口协议的方式来实现节点之间服务调用的逻辑，这样每一个协议所指定的一组服务就是一个认证单元，再基于底层Linux系统的用户和用户组来限制用户（可能是节点服务）有权限执行某一种协议所包含的操作集合，下面我们看一下Hadoop中的各种协议：

上表中是基于SLA划分的不同服务级别，要想使SLA认证生效，首相需要在Hadoop配置文件/etc/hadoop/core-site.xml中增加如下配置内容：

        
                hadoop.security.authorization
                true
        

该配置属性hadoop.security.authorization默认是false，如果集群已经运行，修改了该配置需要重新启动Hadoop集群。然后需要进行SLA认证的详细配置，修改配置文件/etc/hadoop/hadoop-policy.xml，该配置文件中的配置项与对应的SLA协议之间的对应关系如下表所示：

配置SLA权限，实际上是增加ACL（配置用户或用户组）基本格式要求如下：

• 如果既有用户，又有用户组，配置内容格式：user1,user2 group1,group2
• 如果只有用户组，配置内容前面增加一个空格： group1,group2
• 配置内容为*，表示所有用户都具有对应的服务操作权限

下面,我们给定如下的需求：

• hadoop用户作为Hadoop集群的管理员角色，可以执行任何操作
• 为了防止其他用户使用hadoop用户，使hadoop用户归属于用户组g_super_adm，使属于该组的用户具有集群管理员权限
• 只有hadoop用户具有修改SLA认证权限的配置
• Storm集群使用storm用户运行Topology，将实时数据写入HDFS，storm用户只具有操作HDFS权限
• 用户组g_dfs_client具有操作HDFS权限
• 用户组g_mr_client具有在Hadoop上运行MapReduce Job的权限
• 用户stater只具有操作HDFS和运行MapReduce Job的权限

通过进行配置实践，来满足上述要求。修改配置文件/etc/hadoop/hadoop-policy.xml中的部分配置项，具体修改的内容如下所示：

     
          security.client.protocol.acl
          stater,storm g_super_adm,g_dfs_client
          ACL for ClientProtocol, which is used by user code
               via the DistributedFileSystem.
               The ACL is a comma-separated list of user and group names. The user and
               group list is separated by a blank. For e.g. "alice,bob users,wheel".
               A special value of "*" means all users are allowed.
          
     
     
          security.refresh.policy.protocol.acl
          hadoop
          ACL for RefreshAuthorizationPolicyProtocol, used by the
               dfsadmin and mradmin commands to refresh the security policy in-effect.
               The ACL is a comma-separated list of user and group names. The user and
               group list is separated by a blank. For e.g. "alice,bob users,wheel".
               A special value of "*" means all users are allowed.
          
     
     
          security.job.client.protocol.acl
          stater g_super_adm,g_mr_client
          ACL for MRClientProtocol, used by job clients to
               communciate with the MR ApplicationMaster to query job status etc.
               The ACL is a comma-separated list of user and group names. The user and
               group list is separated by a blank. For e.g. "alice,bob users,wheel".
               A special value of "*" means all users are allowed.
          
     

其他的配置属性值保持默认值不变即可。为了保证整个Hadoop集群配置相同，需要将修改的配置文件同步到整个集群的所有节点上。
然后，为了使上述配置内容生效，需要执行如下命令：

hdfs dfsadmin -refreshServiceAcl
yarn rmadmin -refreshServiceAcl

修改SLA认证配置，不需要重启服务，根据修改内容执行上述命令就可以生效。
后面参考链接中，有些关于Hadoop SLA的文档内容貌似没有随着Hadoop版本升级而更新，与实际Hadoop发行版本中配置文件的内容有一定差别，可以参考，具体以实际版本的情况为准。

参考链接

• http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/ServiceLevelAuth.html
• http://hadoop.apache.org/docs/r2.2.0/hadoop-auth/Configuration.html

本文出自：http://shiyanjun.cn, 原文地址：http://shiyanjun.cn/archives/994.html, 感谢原作者分享。