Hadoop集群(CDH4)實(shí)踐之(2)HBase&Zookeeper搭建

目錄結(jié)構(gòu) Hadoop集群(CDH4)實(shí)踐之 (0) 前言 Hadoop集群(CDH4)實(shí)踐之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)實(shí)踐之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)實(shí)踐之 (3) Hive搭建 Hadoop集群(CHD4)實(shí)踐之 (4) Oozie搭建 Hadoop集群(CHD4)實(shí)踐之 (5) Sqoop安

目錄結(jié)構(gòu)
Hadoop集群(CDH4)實(shí)踐之 (0) 前言
Hadoop集群(CDH4)實(shí)踐之 (1) Hadoop(HDFS)搭建
Hadoop集群(CDH4)實(shí)踐之 (2) HBase&Zookeeper搭建
Hadoop集群(CDH4)實(shí)踐之 (3) Hive搭建
Hadoop集群(CHD4)實(shí)踐之 (4) Oozie搭建
Hadoop集群(CHD4)實(shí)踐之 (5) Sqoop安裝

本文內(nèi)容
Hadoop集群(CDH4)實(shí)踐之 (2) HBase&Zookeeper搭建

參考資料
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/CDH4-Installation-Guide.html

環(huán)境準(zhǔn)備
OS: CentOS 6.4 x86_64
Servers:
hadoop-master: 172.17.20.230 內(nèi)存10G
- namenode
- hbase-master

hadoop-secondarynamenode: 172.17.20.234 內(nèi)存10G
- secondarybackupnamenode,jobtracker

hadoop-node-1: 172.17.20.231 內(nèi)存10G sudo yum install hbase-regionserver
- datanode,tasktracker
- hbase-regionserver,zookeeper-server

hadoop-node-2: 172.17.20.232 內(nèi)存10G
- datanode,tasktracker
- hbase-regionserver,zookeeper-server

hadoop-node-3: 172.17.20.233 內(nèi)存10G
- datanode,tasktracker
- hbase-regionserver,zookeeper-server

對以上角色做一些簡單的介紹：
namenode - 整個HDFS的命名空間管理服務(wù)
secondarynamenode - 可以看做是namenode的冗余服務(wù)
jobtracker - 并行計(jì)算的job管理服務(wù)
datanode - HDFS的節(jié)點(diǎn)服務(wù)
tasktracker - 并行計(jì)算的job執(zhí)行服務(wù)
hbase-master - Hbase的管理服務(wù)
hbase-regionServer - 對Client端插入，刪除，查詢數(shù)據(jù)等提供服務(wù)
zookeeper-server - Zookeeper協(xié)作與配置管理服務(wù)

本文定義的規(guī)范，避免在配置多臺服務(wù)器上產(chǎn)生理解上的混亂：
所有直接以 $ 開頭，沒有跟隨主機(jī)名的命令，都代表需要在所有的服務(wù)器上執(zhí)行，除非后面有單獨(dú)的//開頭或在標(biāo)題說明。

1. 安裝前的準(zhǔn)備
Hadoop集群(CDH4)實(shí)踐之 (1) Hadoop(HDFS)搭建

配置NTP時鐘同步
$ sudo yum install ntp
$ sudo /etc/init.d/ntpd start

配置ulimit與nproc參數(shù)
$ sudo vim /etc/security/limits.conf

 
hdfs - nofile 32768
hbase - nofile 32768

退出并重新登錄SSH使設(shè)置生效

2. 在hadoop-secondary上安裝hbase-master
$ sudo yum install hbase-master
$ sudo yum install hbase-rest
$ sudo yum install hbase-thrift

3. 在hadoop-node上安裝hbase-regionserver
$ sudo yum install hbase-regionserver

4. 在HDFS中創(chuàng)建HBase的目錄
以下HDFS操作僅需在任意一臺主機(jī)上執(zhí)行一次
$ sudo -u hdfs hadoop fs -mkdir /hbase
$ sudo -u hdfs hadoop fs -chown hbase /hbase

5. 配置hbase-site.xml
$ sudo vim /etc/hbase/conf/hbase-site.xml
$ cat /etc/hbase/conf/hbase-site.xml

 


 hbase.rest.port
 60050
 hbase.cluster.distributed
 true
 hbase.rootdir
 hdfs://hadoop-master:8020/hbase
 hbase.zookeeper.quorum
 hadoop-node-1,hadoop-node-2,hadoop-node-3

6. 配置regionservers
$ sudo vim /etc/hbase/conf/regionservers

 
hadoop-node-1
hadoop-node-2
hadoop-node-3

7. 安裝Zookeeper
$ sudo yum install zookeeper
$ sudo vim /etc/zookeeper/conf/zoo.cfg
$ cat /etc/zookeeper/conf/zoo.cfg

 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0
server.1=hadoop-node-1:2888:3888
server.2=hadoop-node-2:2888:3888
server.3=hadoop-node-3:2888:3888

8. 在hadoop-node上安裝zookeeper-server并創(chuàng)建myid文件
$ sudo yum install zookeeper-server
$ sudo touch /var/lib/zookeeper/myid
$ sudo chown -R zookeeper:zookeeper /var/lib/zookeeper
$ echo 1 > /var/lib/zookeeper/myid //僅在hadoop-node-1上執(zhí)行
$ echo 2 > /var/lib/zookeeper/myid //僅在hadoop-node-2上執(zhí)行
$ echo 3 > /var/lib/zookeeper/myid //僅在hadoop-node-3上執(zhí)行

$ sudo /etc/init.d/zookeeper-server init //僅在任一hadoop-node上執(zhí)行一次
$ sudo /etc/init.d/zookeeper-server start

9. 啟動Hbase服務(wù)
僅在hadoop-master上
$ sudo /etc/init.d/hbase-master start
$ sudo /etc/init.d/hbase-thrift start
$ sudo /etc/init.d/hbase-rest start

僅在hadoop-node上
$ sudo /etc/init.d/hbase-regionserver start

10. 查看服務(wù)的狀態(tài)
通過網(wǎng)頁查看 http://hadoop-master:60010

11. 至此，HBase&Zookeeper的搭建就已經(jīng)完成。

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com