pig 安装部署及mapreduce模式下测试

pig安装配置

1.下载pig包：(pig-0.9.1)

apache版本：

http://pig.apache.org/

2.解压文件：

# tar -zxvf pig-0.9.1.tar.gz

3.配置/etc/profit

1. export PIG_INSTALL=/usr/pig/pig-0.9.1
2. export PATH=$PATH:$PIG_INSTALL/bin
3. export PIG_HADOOP_VERSION=20 //支持hadoop版本，我的是hadoop-0.20.2

1. source /etc/profile 使配置文件生效

4.pig的本地模式这里就不多讲，主要讲hadoop模式下的一些配置

两种方式配置，主要是指明namenode和jobtracker的位置：

方式 一：写profile文件 export PIG_CLASSPATH=$HADOOP_INSTALL/conf/

方式 二：在pig目录下的conf文件夹pig.properties 中增加

1. fs.default.name=hdfs://hadoop149:9000/
2. mapred.job.tracker=hadoop149:9004

5.启动pig

[root@localhost conf]# pig

2011-12-06 17:57:48,357 [main] INFO org.apache.pig.Main - Logging error messages to: /usr/pig/pig-0.9.1/conf/pig_1323165468355.log

2011-12-06 17:57:48,528 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://hadoop149:9000/

2011-12-06 17:57:48,634 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: hadoop149:9004

grunt> 出现如上信息，说明pig启动成功

6 测试pig在MapReduce 模式下作业的执行

步骤一：上传passwd到hdfs文件系统 假如路径如下 /passwd

步骤二：在grunt编译器命令行依次执行如下命令
A = load '/passwd' using PigStorage(':');

B = foreach A generate $0 as id;

dump B;

在屏幕可以直接查看命令执行结果