博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据系列12:Hadoop2 – 全新的Hadoop
阅读量:6854 次
发布时间:2019-06-26

本文共 2291 字,大约阅读时间需要 7 分钟。

hot3.png

wget 

tar -xzvf hadoop-2.2.0.tar.gz

cd hadoop-2.2.0

vi etc/hadoop/hadoop-env.sh

修改:

export  JAVA_HOME=/home/ysc/jdk1.7.0_17

vi etc/hadoop/slaves

修改localhosthost001

vi etc/hadoop/core-site.xml

增加:

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://host001:9000</value>

</property>

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vi etc/hadoop/mapred-site.xml

增加:

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

<property>

       <name>mapreduce.cluster.local.dir</name>

       <value>/home/ysc/mapreduce/local</value>

</property>

vi etc/hadoop/yarn-site.xml

增加:

<property>

       <name>yarn.resourcemanager.hostname</name>  

       <value>host001</value>

</property>

<property>

       <name>yarn.nodemanager.aux-services</name> 

       <value>mapreduce_shuffle</value> 

</property>

vi etc/hadoop/hdfs-site.xml

增加:

<property>

       <name>dfs.name.dir</name>

       <value>/home/ysc/dfs/filesystem/name</value>

</property>

<property>

       <name>dfs.data.dir</name>

       <value>/home/ysc/dfs/filesystem/data</value>

</property>

<property>

       <name>dfs.replication</name>

       <value>3</value>

</property>

sudo vi /etc/profile

增加:

export  HADOOP_PREFIX=/home/ysc/hadoop-2.2.0

export  HADOOP_COMMON_HOME=/home/ysc/hadoop-2.2.0

export  HADOOP_MAPRED_HOME=/home/ysc/hadoop-2.2.0

export  HADOOP_CONF_DIR=/home/ysc/hadoop-2.2.0/etc/hadoop

export  HADOOP_HDFS_HOME=/home/ysc/hadoop-2.2.0

export  HADOOP_YARN_HOME=/home/ysc/hadoop-2.2.0

source /etc/profile

格式化:

bin/hdfs namenode -format

启动dfs

sbin/start-dfs.sh

启动yarn

sbin/start-yarn.sh

启动historyserver

sbin/mr-jobhistory-daemon.sh start  historyserver

运行wordcount

echo  "APDPlat is a java open source project,  Application Product Development Platform."  >  text1.txt

echo  "Yang Shangchuan is the founder of APDPlat which won the "2013 Outstanding Open Source Project" award."  >  text2.txt

bin/hadoop  fs  -mkdir input

bin/hadoop  fs  -put text1.txt  input

bin/hadoop  fs  -put text2.txt  input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount  input  output

访问管理页面

ResourceManager: 

NodeManager:   

NameNode:

NameNode:

 

停止dfs

sbin/stop-dfs.sh

停止yarn

sbin/stop-yarn.sh

停止historyserver

sbin/mr-jobhistory-daemon.sh stop  historyserver

 

 注意:要把这里的主机host001和用户ysc替换为你自己的,在/etc/hosts文件中要把127.0.0.1 localhost改为实际IP地址 host001

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/apdplat/blog/396685

你可能感兴趣的文章
Lowest Common Ancestor of a Binary Tree Part
查看>>
ASP.NET 新增时多字段取值解决方案
查看>>
文字域替换
查看>>
springboot+vue的前后端分离与合并方案
查看>>
.net中使用存储过程output值和返回值
查看>>
2594. [WC2006]水管局长数据加强版【LCT+最小生成树】
查看>>
Day5-awk
查看>>
C++链式队列基本操作
查看>>
考试题解集合
查看>>
docker基础2
查看>>
走到哪里
查看>>
Docker 学习(一)
查看>>
Win10环境下Redis和Redis desktop manager 安装
查看>>
微信支付宝签约流程总结
查看>>
Spring WebSocket实现消息推送
查看>>
Percona 数据库
查看>>
基础概念:Oracle数据库、实例、用户、表空间、表之间的关系
查看>>
二叉树创建及遍历 (递归&非递归)
查看>>
洛谷P4777 【模板】扩展中国剩余定理(EXCRT)
查看>>
Git 中文教程
查看>>