Nutch相关框架视频教程17
第十七讲
优酷在线视频地址?（31分钟）
压缩超清下载地址?
Ganglia主要是用来监控大规模分布式系统的性能，如：cpu 、内存、硬盘、负载、网络流量等。Ganglia支持通过浏览器访问，强大的图表展示方式很容易直观地了解每个节点以及整个集群的工作状态，对集群运行参数调整、提高系统整体资源利用率起到重要作用。
1、? 配置服务端
host6作为服务端：
创建用户和组：
addgroup?ganglia
adduser?--ingroup ?ganglia ?ganglia
安装：
apt-get?install? ?gmetad
apt-get?install? ?rrdtool
apt-get?install? ?ganglia-webfrontend
apt-get?install? ?ganglia-monitor
配置gmond：
vi/etc/ganglia/gmond.conf
先找到setuid= yes,改成setuid=no;
在找到cluster块中的name，改成name=”hadoop-cluster”;
配置gmetad：
vi/etc/ganglia/gmetad.conf
在这个配置文件中增加datasource，即增加以下内容：
data_source?“hadoop-cluster”? 10?host2? host6? host8
gridname?"Hadoop"
指定web文件夹：
ln ?-s ?/usr/share/ganglia-webfrontend?/var/www/ganglia
指定主机名：
vi/etc/apache2/apache2.conf
添加：?ServerName?host6
重启服务：
/etc/init.d/gmetadrestart
/etc/init.d/ganglia-monitor? restart
/etc/init.d/apache2restart
2、? 配置客户端
在host2和host8上安装数据收集服务：
创建用户和组：
addgroup ?ganglia
adduser ?--ingroup ?ganglia ?ganglia
安装：
apt-get ?install? ?ganglia-monitor
配置gmond：
vi/etc/ganglia/gmond.conf
先找到setuid= yes,改成setuid=no;
在找到cluster块中的name，改成name=”hadoop-cluster”;
重启服务：
/etc/init.d/ganglia-monitorrestart
3、? 访问页面
http://host6/ganglia
如果页面中的Choosea Source有unspecified,重启gmetad即可：
/etc/init.d/gmetad?restart
4、? 集成hadoop
vi conf/hadoop-metrics2.properties
设置内容为：
??#大于0.20以后的版本用ganglia31??
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
??*.sink.ganglia.period=10
??# default for supportsparse is false
??*.sink.ganglia.supportsparse=true
?*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
?*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
??#广播IP地址，这是缺省的，统一设该值(只能用组播地址239.2.11.71)
??namenode.sink.ganglia.servers=239.2.11.71:8649
??datanode.sink.ganglia.servers=239.2.11.71:8649
??jobtracker.sink.ganglia.servers=239.2.11.71:8649
??tasktracker.sink.ganglia.servers=239.2.11.71:8649
??maptask.sink.ganglia.servers=239.2.11.71:8649
??reducetask.sink.ganglia.servers=239.2.11.71:8649
??dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
??dfs.period=10
??dfs.servers=239.2.11.71:8649
??mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
??mapred.period=10
??mapred.servers=239.2.11.71:8649
??jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
??jvm.period=10
??jvm.servers=239.2.11.71:8649
?
把配置文件复制到集群其他节点，重启集群。