当前位置:Gxlcms > mysql > 64位CentOS系统下安装配置伪分布式hadoop2.5.2

64位CentOS系统下安装配置伪分布式hadoop2.5.2

时间:2021-07-01 10:21:17 帮助过:10人阅读

安装完之后进行配置,首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop,在hadoop安装目录下,修改 etc/hadoop/core-site.xml,将其配置为: configuration property namehadoop.tmp.dir/name value/usr/hadoop/tmp/value descriptionA ba

安装完之后进行配置,首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop,在hadoop安装目录下,修改 etc/hadoop/core-site.xml,将其配置为:


hadoop.tmp.dir

/usr/hadoop/tmp

A base for other temporary directories.

fs.defaultFS

hdfs://你的ip:9000

然后执行修改etc/hadoop/hdfs-site.xml进行第二项配置:

dfs.namenode.name.dir

/usr/hadoop/hdfs/name

dfs.datanode.data.dir

/usr/hadoop/hdfs/data

dfs.replication

1

请注意上述路径都需要自己手动用mkdir创建,具体位置也可以自己选择,其中dfs.replication的值建议配置为与分布式 cluster 中实际的 DataNode 主机数一致,在这里由于是伪分布式环境所以设置其为1。

接下来修改 etc/hadoop/mapred-site.xml配置其使用 Yarn 框架执行 map-reduce 处理程序,内容如下:


mapreduce.framework.name
Yarn


最后修改 etc/hadoop/yarn-site.xml对yarn进行配置,其内容如下:


Yarn.nodemanager.aux-services

mapreduce.shuffle

The address of the applications manager interface in the RM.

Yarn.resourcemanager.address

你的ip:18040

The address of the scheduler interface.

Yarn.resourcemanager.scheduler.address

你的ip:18030

The address of the RM web application.

Yarn.resourcemanager.webapp.address

你的ip:18088

The address of the resource tracker interface.

Yarn.resourcemanager.resource-tracker.address

你的ip:8025

然后格式化:

人气教程排行