当前位置：Gxlcms >
Python >
python的map和reduce和Hadoop的MapReduce有什么关系？
python的map和reduce和Hadoop的MapReduce有什么关系？
时间：2021-07-01 10:21:17
帮助过：5人阅读
如题
回复内容：
hadoop map阶段所做的事 类比于 python map
hadoop reduce阶段所做的事 类比于 python groupby
但只是类比，hadoop map阶段和reduce阶段有更具体细节的不同步骤，两者牛头无法对上马嘴。
MapReduce是一种Google第一次提出的，在并行集群里对大数据进行计算的的一种编程模型。它包括map与reduce。map与reduce来源于函数式编程的两个方法。Hadoop的MapReduce是对Google MapReduce的一个开源实现。它提供Map与Reduce两个接口。
以下是python官方文档对map与reduce的定义。
map(function, iterable): Apply
function to every item of
iterable and return a list of the results. 这个方法会把可迭代函数里的每一个元素应用一次方程，并将结果以一个数组返回。
实例：
def add_one(x):
return x+1
a = [1,2,3,4]
map(add_one,a) // 此处将返回 [2,3,4,5]
http://blog.damotou.info/2015/06/29/%E5%9B%BE%E8%A7%A3spark%E7%9A%84RDD%E7%BC%96%E7%A8%8B%E6%A8%A1%E5%9E%8B/看我这篇博客吧
我去，这差得十万八千里。。
您好 我一名学生，现在的研究方向也是关于数据挖掘的，今天有幸看到您的文章里有关于 用python来实现mapreduce 程序，想请教一下您仅用python来写实现mapreduce程序够吗 因为我学得是python ,但是了解到大部分的hadoop程序及框架都是用java来写的，所以在这里想问一下您是不是还需要继续学习java来开发mapreduce 程序？希望得到您的指导
