当前位置:Gxlcms > mysql > Hadoop2.5.1使用笔记

Hadoop2.5.1使用笔记

时间:2021-07-01 10:21:17 帮助过:46人阅读

只是记录遇到的问题及解决方法: 1.安装教程:http://dogdogfish.com/2014/04/26/installing- hadoop -2-4-on-ubuntu-14-04/ 2.新版本的 hadoop streaming 库地址:$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.5.1.jar 3.使用hadoop streaming

只是记录遇到的问题及解决方法:

1.安装教程:http://dogdogfish.com/2014/04/26/installing-hadoop-2-4-on-ubuntu-14-04/

2.新版本的hadoop streaming 库地址:$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.5.1.jar

3.使用hadoop streaming 同一键值需要自己合并

4.Hadoop Core(hadoop-core-*.jar) is renamed Hadoop Common. location:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.5.1.jar

报错:

1.java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    解决方案:程序有错, 检查 http://localhost:50070/logs/userlogs/下的日志看container日志中的stderr,然后具体问题具体解决

人气教程排行