当前位置:Gxlcms > mysql > Hadoop中运行WordCount

Hadoop中运行WordCount

时间:2021-07-01 10:21:17 帮助过:11人阅读

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。

在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:

1、准备需要进行wordcount的文件
首先在”/home/hadoop”目录下创建文件夹”file”。接着创建两个文本文件file1.txt和file2.txt,使file1.txt内容为”Hello world”,而file2.txt的内容为”Hello hadoop”。

2、在HDFS上创建输入文件夹input

hadoop fs -mkdir input 

3、将准备的测试文件上传到dfs文件系统中的input目录下,

hadoop fs -put /home/hadoop/file1.txt input
hadoop fs -put /home/hadoop/file2.txt input

4、运行wordcount

说明:hadoop-0.20.2-examples.jar是Hadoop中自带的实例,Hadoop版本不一样,实例名称可能有区别,大家在目录中自行查看。

hadoop jar hadoop-0.20.2-examples.jar wordcount input outputo

5、查看结果

hadoop dfs -cat outputo/part-r-00000 

6、进入bin目录停止stop-all.sh。

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop […]

人气教程排行