本篇内容主要讲解“hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建”吧!
10年积累的成都网站设计、成都做网站、外贸网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站策划后付款的网站建设流程,更有青浦免费网站建设让你可以放心的选择与我们合作。
1环境准备
1 安装rz sz 方便重自己本地windows上 上传下载文件
yum install -y lrzsz
2 软件工具装备好
-rw-r--r--. 1 root root 311585484 Feb 20 2018 hadoop-2.6.0-cdh6.7.0.tar.gz
-rw-r--r--. 1 root root 173271626 Feb 23 17:25 jdk-8u45-linux-x64.gz
3 进行环境 的安装
mkdir -p /usr/local/java
tar –zxvf jdk-8u45-linux-x64.gz –C /usr/local/java
mkdir /opt/local
tar -zxvf hadoop-2.6.0-cdh6.7.0.tar.gz -C /opt/local
mv hadoop-2.6.0-cdh6.7.0/ hadoop2.6.0
编辑配置,文件把对应的路径配置成功
vi /etc/profile
export HADOOP_HOME=/opt/local/hadoop-2.6.0
export JAVA_HOME=/usr/local/java/jdk1.8.0_65
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:$HADOOP_HOME/bin
把配置文件生效
source /etc/profile
java –version 查看 自己版本是否配置成功
配置 地址 把自己的hostname 和 ip地址进行绑定,防火墙
关闭自己机器的防火墙
chkconfig iptables –list 查看哪些没关
chkconfig iptables off 关闭
修改自己机器的域名
vi /etc/sysconfig/network
HOSTNAME=hadoop001
Reboot 重启生效
hostsname 查看主机名是否修改成功
vi /etc/hosts
192.168.225.100 hadoop001
Reboot 重新启动一下机器
2配置hadoop 为分布式
1 cd /opt/local/hadoop2.6.0/etc/hadoop
Vi vi core-site.xml 核心文件 地址
2 创建目录Mkdir /home/hadoop/app/tmp
3 vi hdfs-site.xml
4 vi hadoop-env.sh 不配置启动找不到 jdk
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
5 [root@hadoop001 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop001 hadoop]# vi mapred-site.xml
6 vi vi yarn-site.xml
7 vi vi slaves 把主机名称加入表示datanode节点
配置好了格式化一下
bin/hdfs namenode –format
配置一下 ssh 免密码登陆
Cd .ssh
输入 ssh-keygen 回车4次
-rw-------. 1 root root 1675 Feb 25 05:03 id_rsa
-rw-r--r--. 1 root root 396 Feb 25 05:03 id_rsa.pub
-rw-r--r--. 1 root root 798 Feb 25 05:02 known_hosts
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys
ssh + ip 或者域名 第一次输入需要密码 第二次 不需要了
启动sbin/start-dfs.sh
Jpd 命令 出现
8068 NameNode
8373 SecondaryNameNode
8551 ResourceManager
8649 NodeManager
8206 DataNode
24174 Jps
到此,相信大家对“hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
当前文章:hadoopcdh2.6.0-5.7.0伪分布式版本怎么搭建
文章分享:http://scyingshan.cn/article/ghjhjo.html