Hadoop集群监控系统Ambari装配

Hadoop集群监控系统Ambari安装

原创文章，转载请注明出处?http://qingtangpaomian.iteye.com/blog/1671305

1. 写在前面

Ambari是Apache的一个开源项目，旨在提供一个Hadoop集群安装、管理、配置、监控的一体化工具。Ambari使用了开源项目hmc完成hadoop的安装功能，在监控方面则使用了ganglia和nagios两个开源项目。

本人在安装ambari的过程中遇到了种种问题，特别写博客记录下来，给大家参考。

注意：本文当中的所有操作，建议以root账户执行。

2. Ambari安装2.1 Step1 - 获取Ambari1. 从SVN获取代码#?svn checkout http://svn.apache.org/repos/asf/incubator/ambari/trunk ambari2. 将源代码打包为rpm包

使用rpm打包工具将ambari源代码打包：?

#?yum install rpm-build#?cd hmc/package/rpm#?./create_hmc_rpm.sh#?cd mon_dashboard/package/rpm#?./create_dashboard_rpm.sh

注意： 这些步骤执行完成后，会在下面的路径中发现对应的rpm包，这些包就是ambari各组件对应的安装包。

1) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-1.0.0-1.noarch.rpm

2) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-agent-1.0.0-1.noarch.rpm

3) mon_dashboard/package/rpm/build/rpmbuild/RPMS/noarch/hdp_mon_dashboard-0.0.1-2.noarch.rpm

2.2 Step2 - 安装Ambari Master Server

注意： Ambari使用的是master - slaver 的这种结构，在集群中有一个节点作为master server节点，而其他节点作为slaver，听从master节点的调度。在安装之前，需要读者对从集群当中选择一个节点作为ambari master节点。

1. 安装前的准备

在安装ambari之前，需要做一下两件事情

1) : 配置Ambari Master到其他所有Slaver的 password-less SSH（参考以下内容）

1. Run on ambary master: % ssh-keygen -t dsa

2. Copy pubkey to each nodes:
Scp ~/.ssh/id_dsa.pub root@<each node IP>:/.ssh/authorized_keys

3. Back up id_dsa, this will be as private key when you want to launch Ambari install Hadoop clusters.

Note: you might need create .ssh folder on each node manually.

?2) : 关闭防火墙

#?service iptables stop2. 安装Ambari Server依赖模块

注意： Ambari server对puppet , ruby , passenger , httpd等模块有依赖，所以在安装ambari server需要先安装依赖模块。

a. 先在本机添加yum仓库，包括redhat, hontworks以及passenger的仓库?：

$ rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm

? ? 如果是i386则执行以下操作：

#?rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm#?rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm#?rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm

b. 安装php模块

#?yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2
#??yum install php-pdo
#??php -m | grep posix

?如果posix模块没有找到，则执行以下操作

#?yum install php-process

c. 执行以下操作，安装Ambari master主要依赖

#?yum install pdsh
#??yum install httpd-devel
#??yum install mod_passenger
#??yum install puppet-2.7.9
#??yum install ruby-devel3. 安装Ambari master#?rpm -iv ambari-1.0.0-1.noarch.rpm?
#??rpm -iv hdp_mon_dashboard-0.0.1-2.noarch.rpm

2.3 Step3 - 安装Ambari Agent1. 安装依赖（这里同Ambari Server完全相同）

a. 先在本机添加yum仓库，包括redhat, hontworks以及passenger的仓库?：

#?rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm

? ? 如果是i386则执行以下操作：

b. 安装php模块

#?yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2
#?yum install php-pdo
#?php -m | grep posix

?如果posix模块没有找到，则执行以下操作

#?yum install php-process

c. 执行以下操作，安装Ambari 主要依赖

#?yum install pdsh
#?yum install httpd-devel
#?yum install mod_passenger
#?yum install puppet-2.7.9
#?yum install ruby-devel2. 安装Ambari Agent# rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm

2.4 Step4 - 启动Ambari1. 启动Ambari Server

a) 从网址?http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.html?下载以下的三个文件，拷贝到ambari master所在机器的路径/var/run/hmc/downloads/ 下

1) jdk-6u26-linux-x64.bin

2) jdk-6u26-linux-i586.bin

3) jce_policy-6.zip

b) 启动Ambari Master

# service ambari start2. 启动Ambari Agent# service ambari-agent start3. 从Web界面访问Ambari服务

搭建完成Ambari服务后，就可以通过以下Web地址访问Ambari服务 http://AMBARIMASTER/hmc/html/，如果能够成功访问，则搭建成功。

Hadoop集群监控系统Ambari装配

热点推荐