基于Zookeeper的分步式队列系统集成案例

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概念不断创新，推出科技进步。 作为IT界的开发人员，我们也要跟上节奏，抓住机遇，跟着Hadoop一起雄起！ 关于作者： 张丹(Conan), 程序员Java,R,PHP,Javascript weibo：@Conan_Z blog:?http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/hadoop-zookeeper-case/ 前言 软件系统集成一直是工业界的一个难题，像10年以上的遗留系统集成，公司收购后的多系统集成，全球性的分步式系统集成等。虽然基于SOA的软件架构，从理论上都可以解决这些集成的问题，但是具体实施过程，有些集成项目过于复杂而失败。 随着技术的创新和发展，对于分步式集群应用的集成，有了更好的开源软件的支持，像zookeeper就是一个不错的分步式协作软件平台。本文将通过一个案例介绍Zookeeper的强大。 目录 项目背景：分布式消息中间件 需求分析：业务系统升级方案 架构设计：搭建Zookeeper的分步式协作平台 程序开发：基于Zookeeper的程序设计 程序运行 1. 项目背景：分布式消息中间件 随着Hadoop的普及，越来越多的公司开始构建自己的Hadoop系统。有时候，公司内部的不同部门或不同的团队，都有自己的Hadoop集群。这种多集群的方式，既能让每个团队拥有个性化的Hadoop，又能避免大集群的高度其中化运维难度。当数据量不是特别巨大的时候，小型集群会有很多适用的场合。 当然，多个小型集群也有缺点，就是资源配置可能造成浪费。每个团队的Hadoop集群，都要配有服务器和运维人员。有些能力强的团队，构建的hadoop集群，可以达到真正的个性化要求；而有一些能力比较差的团队，搭建的Hadoop集群性能会比较糟糕。 还有一些时候，多个团队需要共同完成一个任务，比如，A团队通过Hadoop集群计算的结果，交给B团队继续工作，B完成了自己任务再交给C团队继续做。这就有点像业务系统的工作流一样，一环一环地传下去，直到最后一部分完成。 在业务系统中，我们经常会用SOA的架构来解决这种问题，每个团队在ESB服务器上部署自己的服务，然后通过消息中间件完成调度任务。对于分步式的多个Hadoop集群系统的协作，同样可以用这种架构来做，只要把消息中间件引擎换成支持分步式的消息中间件的引擎就行了。 Zookeeper就可以做为 分步式消息中间件，来完成上面的说的业务需求。ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品，是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。Zookeeper的安装和使用，请参考文章 ZooKeeper伪分布式集群安装及使用。 ZooKeeper提供分布式协作服务，并不需要依赖于Hadoop的环境。 2. 需求分析：业务系统升级方案 下面我将从一个案例出发，来解释如何进行分步式协作平台的系统设计。 2.1 案例介绍 某大型软件公司，从事领域为供应链管理，主要业务包括了 …
Read more →