Hadoop kerberos security配备

Hadoop kerberos security配置
export HADOOP_OPTS="$HADOOP_OPTS -DKERBEROS_DOMAIN=you-kerberos-domain.com"

?2.1?core-site.xml

在core-site.xml中配置如下参数。 ?

&lt;property&gt;&lt;name&gt;hadoop.security.authorization&lt;/name&gt;&lt;value&gt;true&lt;/value&gt;&lt;description&gt;Is service-level authorization enabled?&lt;/description&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hadoop.rpc.protection&lt;/name&gt;&lt;value&gt;privacy&lt;/value&gt;&lt;description&gt;Possible values are authentication (no integrity, privacy)&lt;/description&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hadoop.security.authentication&lt;/name&gt;&lt;value&gt;kerberos&lt;/value&gt;&lt;description&gt;Possible values are simple (no authentication), and kerberos&lt;/description&gt;&lt;/property&gt;

2.2?hdfs-site.xml

在hdfs-site.xml中配置如下参数。 ?

&lt;property&gt;&lt;name&gt;dfs.https.address&lt;/name&gt;&lt;value&gt;namenodeHost:50470&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.https.port&lt;/name&gt;&lt;value&gt;50470&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.block.access.token.enable&lt;/name&gt;&lt;value&gt;true&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.namenode.keytab.file&lt;/name&gt;&lt;value&gt;/home/hadoop/hadoop/conf/hadoop.keytab&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.namenode.kerberos.principal&lt;/name&gt;&lt;value&gt;hadoop/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.namenode.kerberos.https.principal&lt;/name&gt;&lt;value&gt;host/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.datanode.data.dir.perm&lt;/name&gt;&lt;value&gt;755&lt;/value&gt;&lt;description&gt;Permissions for the directories on on the local filesystem wherethe DFS data node store its blocks. The permissions can either be octal orsymbolic.&lt;/description&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.datanode.address&lt;/name&gt;&lt;value&gt;0.0.0.0:1004&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.datanode.http.address&lt;/name&gt;&lt;value&gt;0.0.0.0:1006&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.datanode.keytab.file&lt;/name&gt;&lt;value&gt;/home/hadoop/hadoop/conf/hadoop.keytab&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.datanode.kerberos.principal&lt;/name&gt;&lt;value&gt;hadoop/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;dfs.datanode.kerberos.https.principal&lt;/name&gt;&lt;value&gt;host/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;

2.3?mapred-site.xml

在mapred-site.xml中配置如下参数。

&lt;property&gt;&lt;name&gt;mapreduce.jobtracker.kerberos.principal&lt;/name&gt;&lt;value&gt;hadoop/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;mapreduce.jobtracker.kerberos.https.principal&lt;/name&gt;&lt;value&gt;host/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;mapreduce.jobtracker.keytab.file&lt;/name&gt;&lt;value&gt;/home/hadoop/hadoop/conf/hadoop.keytab&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;mapreduce.tasktracker.kerberos.principal&lt;/name&gt;&lt;value&gt;hadoop/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;mapreduce.tasktracker.kerberos.https.principal&lt;/name&gt;&lt;value&gt;host/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;mapreduce.tasktracker.keytab.file&lt;/name&gt;&lt;value&gt;/home/hadoop/hadoop/conf/hadoop.keytab&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;mapred.task.tracker.task-controller&lt;/name&gt;&lt;value&gt;org.apache.hadoop.mapred.DefaultTaskController&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;mapreduce.tasktracker.group&lt;/name&gt;&lt;value&gt;hadoop&lt;/value&gt;&lt;/property&gt;

2.4?hadoop Startup Command

hadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start namenoderoot@_HOST:~\# ~hadoop/hadoop/bin/hadoop-daemon.sh start datanodehadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start jobtrackerhadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start tasktracker

2.5?Hadoop 1.0.3 fair-scheduler Kerberos Authentication Bug(when Job Submited)
?这个bug解决得比较曲折。在官方的bug网站上已经有了相应的bug fix。找出了最终的原因是executorService的一种机制:ExecutorService可以产生若干个线程,但是不会同时生成(也就是说按需生成),因此在应该产生的时候就没有kerberos的相应的认证信息了。请参考MAPREDUCE-4451 ?fairscheduler fail to init job with kerberos authentication configured。
?

3. Secure HBase Kerberos Configuration

在配置之前需要在hbase_env.sh里面配置一个java属性变量：

export HBASE_OPTS="$HBASE_OPTS -DKERBEROS_DOMAIN=you-kerberos-domain.com"

3.1?hbase-site.xml

&lt;property&gt;&lt;name&gt;hbase.regionserver.kerberos.principal&lt;/name&gt;&lt;value&gt;hbase/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.regionserver.keytab.file&lt;/name&gt;&lt;value&gt;/home/hbase/hbase/conf/hdfs.keytab&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.master.kerberos.principal&lt;/name&gt;&lt;value&gt;hbase/_HOST@${KERBEROS_DOMAIN}&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.master.keytab.file&lt;/name&gt;&lt;value&gt;/home/hbase/hbase/conf/hdfs.keytab&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.security.authentication&lt;/name&gt;&lt;value&gt;kerberos&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.security.authorization&lt;/name&gt;&lt;value&gt;true&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.rpc.engine&lt;/name&gt;&lt;value&gt;org.apache.hadoop.hbase.ipc.SecureRpcEngine&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.rpc.protection&lt;/name&gt;&lt;value&gt;privacy&lt;/value&gt;&lt;/property&gt;

3.2?Secure HBase Startup Command

hbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start masterhbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start regionserver

3.3?HBase Security Coprocessor Configuration

&lt;property&gt;&lt;name&gt;hbase.coprocessor.master.classes&lt;/name&gt;&lt;value&gt;org.apache.hadoop.hbase.security.access.AccessController&lt;/value&gt;&lt;/property&gt;&lt;property&gt;&lt;name&gt;hbase.coprocessor.region.classes&lt;/name&gt;&lt;value&gt;org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hba&lt;/property&gt;

Hadoop kerberos security配备

2.4?hadoop Startup Command
hadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start namenoderoot@_HOST:~\# ~hadoop/hadoop/bin/hadoop-daemon.sh start datanodehadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start jobtrackerhadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start tasktracker
?

3. Secure HBase Kerberos Configuration
在配置之前需要在hbase_env.sh里面配置一个java属性变量：
export HBASE_OPTS="$HBASE_OPTS -DKERBEROS_DOMAIN=you-kerberos-domain.com"

3.2?Secure HBase Startup Command
hbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start masterhbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start regionserver
?

3.4?HTable Security Command
hbase提供了三个安全控制表使用权限的命令：
user_permissiongrantrevoke
?

热点推荐

Hadoop kerberos security配备

2.4?hadoop Startup Commandhadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start namenoderoot@_HOST:~\# ~hadoop/hadoop/bin/hadoop-daemon.sh start datanodehadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start jobtrackerhadoop@_HOST:~\$ ~hadoop/hadoop/bin/hadoop-daemon.sh start tasktracker?

3. Secure HBase Kerberos Configuration在配置之前需要在hbase_env.sh里面配置一个java属性变量：export HBASE_OPTS="$HBASE_OPTS -DKERBEROS_DOMAIN=you-kerberos-domain.com"

3.2?Secure HBase Startup Commandhbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start masterhbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start regionserver?

3.4?HTable Security Commandhbase提供了三个安全控制表使用权限的命令：user_permissiongrantrevoke?

热点推荐

3. Secure HBase Kerberos Configuration
在配置之前需要在hbase_env.sh里面配置一个java属性变量：
export HBASE_OPTS="$HBASE_OPTS -DKERBEROS_DOMAIN=you-kerberos-domain.com"

3.2?Secure HBase Startup Command
hbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start masterhbase@_HOST:~\$ ~hbase/hbase/bin/hbase-daemon.sh start regionserver
?

3.4?HTable Security Command
hbase提供了三个安全控制表使用权限的命令：
user_permissiongrantrevoke
?