一、Kerberos概述与装置

Kerberos概述与装置能够参阅我之前的文章:Kerberos认证原理与环境布置

二、Kafka Kerberos认证

Kafka装置能够参阅我以前的文章:

大数据Hadoop之——Kafka 图形化东西 EFAK(EFAK环境布置) 分布式开源和谐服务——Zookeeper

Kafka Kerberos认证官方文档:kafka.apache.org/31/document…

Kafka 是服务,所以这儿运用的是服务principal,不清楚的小伙伴能够看我上面的文章。格局如下:

Service/Hostname@REALM

【温馨提示】SASL:简略验证和安全层 (Simple Authentication and Security Layer,)

1)创立用户和生成用户keytab

在装置 Kerberos 的机器上进入 kadmin(Kerberos 服务端上运用 kadmin.local,装置了 Kerberos Client 的机器上能够运用 kadmin),然后执行如下指令分别创立服务端和客户端的 keytab:

# 创立服务端的keytab,在不同的机器上运用不同主机名对应的keytab文件,格局:principal/hostname@realm
# 【温馨提示】kafka-server要与下面的sasl.kerberos.service.name一致。
$ kadmin.local -q "add_principal -randkey kafka-server/hadoop-node1@HADOOP.COM"
# 创立客户端的keytab(hadoop-node2)
$ kadmin.local -q "add_principal -randkey kafka-server/hadoop-node2@HADOOP.COM"
# 创立客户端的keytab(hadoop-node3)
$ kadmin.local -q "add_principal -randkey kafka-server/hadoop-node3@HADOOP.COM"
# 创立客户端用户
$ kadmin.local -q "add_principal -randkey kafka-client@HADOOP.COM"
# 导出keytab文件,留意这儿只能是kafka-server.keytab姓名,换成其它姓名会报错。这儿为了区分,先起别的的姓名,在其它节点的时候修正回kafka-server.keytab
$ kadmin.local -q "xst -k /root/kafka-server.keytab kafka-server/hadoop-node1@HADOOP.COM"
$ kadmin.local -q "xst -k /root/kafka-server-node2.keytab kafka-server/hadoop-node2@HADOOP.COM"
$ kadmin.local -q "xst -k /root/kafka-server-node3.keytab kafka-server/hadoop-node3@HADOOP.COM"
$ kadmin.local -q "xst -k /root/kafka-client.keytab kafka-client@HADOOP.COM"
# 验证
$ kinit -kt /root/kafka-server.keytab kafka-server/hadoop-node1
$ kinit -kt /root/kafka-server-node2.keytab kafka-server/hadoop-node2
$ kinit -kt /root/kafka-server-node3.keytab kafka-server/hadoop-node3
$ kinit -kt /root/kafka-client.keytab kafka-client

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

2)Kerberos 相关装备

仿制 krb5.confkafka.keytab 文件都放到 Kafka 的 $KAFKA_HOME/config/kerberos 目录下(kerberos 目录需新建)。

$ mkdir $KAFKA_HOME/config/kerberos
$ cp /root/kafka*.keytab $KAFKA_HOME/config/kerberos/
# 将krd5.conf也仿制到$KAFKA_HOME/config/kerberos目录下
$ cp /etc/krb5.conf $KAFKA_HOME/config/kerberos/

3)Kafka 服务端装备

1、修正server.properties

仿制 $KAFKA_HOME/config/server.properties(仿制动作能协助我们在 认证/非认证 形式自在切换)重命名为 $KAFKA_HOME/config/server-sasl.properties

$ scp $KAFKA_HOME/config/server.properties $KAFKA_HOME/config/server-sasl.properties

添加或修复如下装备:

# 【温馨提示】其间sasl.kerberos.service.name要和principal的称号相同
listeners=SASL_PLAINTEXT://0.0.0.0:19092
advertised.listeners=SASL_PLAINTEXT://hadoop-node1:19092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=kafka-server

新建 kafka-server-jaas.conf 文件,该文件也放到 Kafka 的 $KAFKA_HOME/config/kerberos/ 目录下:

$ cat > $KAFKA_HOME/config/kerberos/kafka-server-jaas.conf <<EOF
KafkaServer {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   //不同的主机,需修正成不同的keytab文件
   keyTab="/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/kerberos/kafka-server.keytab"
   storeKey=true
   useTicketCache=false
   //不同的主机,需修正为本机的主机名
   principal="kafka-server/hadoop-node1@HADOOP.COM";  
};
//Zookeeper client authentication,装备跟KafkaServer 一样,假如zookeeper敞开了kerberos认证,就得加这段装备,我这没开,所以先注释了
//Client {
//   com.sun.security.auth.module.Krb5LoginModule required
//   useKeyTab=true
//   不同的主机,需修正成不同的keytab文件
//   keyTab="/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/kerberos/kafka-server.keytab"
//   storeKey=true
//   useTicketCache=false
//   不同的主机,需修正为本机的主机名
//   principal="kafka-server/hadoop-node1@HADOOP.COM";
//};
EOF

2、修正kafka-server-start.sh

仿制 bin/kafka-server-start.sh 脚本重命名为 bin/kafka-server-start-sasl.sh

$ cp $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/bin/kafka-server-start-sasl.sh

在倒数第二行添加如下装备(bin/kafka-server-start-sasl.sh):

export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server -Djava.security.krb5.conf=/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/kerberos/kafka-server-jaas.conf"

【温馨提示】假如 Zookeeper 敞开 Kerberos 认证,则这儿 zookeeper.sasl.client 就得设为 true。

4)Kafka 客户端装备

1、装备client.properties

该装备首要为了运用 bin/kafka-topics.sh、bin/kafka-console-consumer.sh、kafka-console-producer.sh 等指令。

新建 client.properties 文件,该文件也放到 Kafka 的 $KAFKA_HOME/config/kerberos 目录下:

$ cat > $KAFKA_HOME/config/kerberos/client.properties <<EOF
security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka-server
EOF

2、装备kafka-client-jaas.conf

新建 kafka-client-jaas.conf 文件,该文件也放到 Kafka 的 config/kerberos 目录下:

$ cat > $KAFKA_HOME/config/kerberos/kafka-client-jaas.conf <<EOF
KafkaClient {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   keyTab="/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/kerberos/kafka-client.keytab"
   storeKey=true
   useTicketCache=false
   principal="kafka-client@HADOOP.COM";
};
EOF

3、装备kafka-topics.sh等操作文件

仿制 bin/kafka-topics.shbin/kafka-console-producer.shbin/kafka-console-consumer.sh 脚本,分别重命名为 bin/kafka-topics-sasl.shbin/kafka-console-producer-sasl.shbin/kafka-console-consumer-sasl.sh

$ cp $KAFKA_HOME/bin/kafka-topics.sh $KAFKA_HOME/bin/kafka-topics-sasl.sh
$ cp $KAFKA_HOME/bin/kafka-console-producer.sh $KAFKA_HOME/bin/kafka-console-producer-sasl.sh
$ cp $KAFKA_HOME/bin/kafka-console-consumer.sh $KAFKA_HOME/bin/kafka-console-consumer-sasl.sh
$ cp $KAFKA_HOME/bin/kafka-consumer-groups.sh $KAFKA_HOME/bin/kafka-consumer-groups-sasl.sh

在倒数第二行添加如下装备(bin/kafka-xxx.sh):

export KAFKA_OPTS="-Djava.security.krb5.conf=/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/kerberos/kafka-client-jaas.conf"

【温馨提示】上面创立了两个keytab文件,但是权限都是一样,都能够操作所有,所以在企业生成环境中,能够考虑把客户端的用户权限控制一下。

5)将装备文件copy到其它机器上

# kafka kerberos装备
$ scp -r $KAFKA_HOME/config/kerberos hadoop-node2:$KAFKA_HOME/config/
$ scp -r $KAFKA_HOME/config/kerberos hadoop-node3:$KAFKA_HOME/config/
# kafka server发动脚本
$ scp $KAFKA_HOME/bin/kafka-server-start-sasl.sh hadoop-node2:$KAFKA_HOME/bin/
$ scp $KAFKA_HOME/bin/kafka-server-start-sasl.sh hadoop-node3:$KAFKA_HOME/bin/
# 【温馨提示】留意修正broker.id、advertised.listeners
# kafka server 装备
$ scp $KAFKA_HOME/config/server-sasl.properties hadoop-node2:$KAFKA_HOME/config/
$ scp $KAFKA_HOME/config/server-sasl.properties hadoop-node3:$KAFKA_HOME/config/
# topic操作
$ scp $KAFKA_HOME/bin/kafka-topics-sasl.sh hadoop-node2:$KAFKA_HOME/bin/
$ scp $KAFKA_HOME/bin/kafka-topics-sasl.sh hadoop-node3:$KAFKA_HOME/bin/
# 出产者
$ scp $KAFKA_HOME/bin/kafka-console-producer-sasl.sh hadoop-node2:$KAFKA_HOME/bin/
$ scp $KAFKA_HOME/bin/kafka-console-producer-sasl.sh hadoop-node3:$KAFKA_HOME/bin/
# 顾客
$ scp $KAFKA_HOME/bin/kafka-console-consumer-sasl.sh hadoop-node2:$KAFKA_HOME/bin/
$ scp $KAFKA_HOME/bin/kafka-console-consumer-sasl.sh hadoop-node3:$KAFKA_HOME/bin/
# 消费组
$ scp $KAFKA_HOME/bin/kafka-consumer-groups-sasl.sh hadoop-node2:$KAFKA_HOME/bin/
$ scp $KAFKA_HOME/bin/kafka-consumer-groups-sasl.sh hadoop-node3:$KAFKA_HOME/bin/

6)测验验证

1、检查topic 列表

运转 bin/kafka-server-start-sasl.sh 发动 Kafka 集群:

$ ./bin/kafka-server-start-sasl.sh config/server-sasl.properties
# 还是跟之前的一样查询,会发现现已不能查询了
$ ./bin/kafka-topics-sasl.sh --list --bootstrap-server hadoop-node1:19092

服务端报的过错

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

客户端报的过错

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

正确拜访方式

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-sasl.sh --list --bootstrap-server hadoop-node1:19092 --command-config config/kerberos/client.properties

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

上面是只发动了一台机器,现在验证ok了,就能够把三台kafka的机器都发动,要不然下面的实验会失利,因为之前kafka装备的便是集群形式。假如只发动一台,会报如下过错:

replication factor: 3 larger than available brokers: 1

【问题提示】需求修正

  • 需求留意的是得把kafka-server-node2.keytabkafka-server-node3.keytab修正回kafka-server.keytab
  • 还得把kafka-server-jaas.conf里边的主机名改成本机主机名
  • 修正config/server-sasl.properties文件里的broker.idadvertised.listeners
# hadoop-ndoe2
$ cd $KAFKA_HOME
$ mv config/kerberos/kafka-server-node2.keytab config/kerberos/kafka-server.keytab
$ vi config/kerberos/kafka-server-jaas.conf
$ vi config/server-sasl.properties
$ ./bin/kafka-server-start-sasl.sh -daemon config/server-sasl.properties
# hadoop-ndoe2
$ cd $KAFKA_HOME
$ mv config/kerberos/kafka-server-node3.keytab config/kerberos/kafka-server.keytab
$ vi config/kerberos/kafka-server-jaas.conf
$ vi config/server-sasl.properties
$ ./bin/kafka-server-start-sasl.sh -daemon config/server-sasl.properties

2、创立topic

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-sasl.sh --create --topic test-sasl --bootstrap-server hadoop-node1:19092  --partitions 3 --replication-factor 3 --config retention.ms=259200000 --command-config config/kerberos/client.properties

3、检查topic概况

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-sasl.sh --bootstrap-server hadoop-node1:19092 --describe --topic test-sasl --command-config config/kerberos/client.properties

4、删除topic

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-sasl.sh --delete --topic test-sasl --bootstrap-server hadoop-node1:19092 --command-config config/kerberos/client.properties

4、出产/消费

运转 kafka-console-producer-sasl.sh 出产音讯:

$ cd $KAFKA_HOME
$ ./bin/kafka-console-producer-sasl.sh --bootstrap-server hadoop-node1:19092 --topic test-sasl --producer.config config/kerberos/client.properties
{"id":"1","name":"n1","age":"20"}
{"id":"2","name":"n2","age":"21"}
{"id":"3","name":"n3","age":"22"}

运转 bin/kafka-console-consumer-sasl.sh 消费音讯:

$ cd $KAFKA_HOME
$ ./bin/kafka-console-consumer-sasl.sh --bootstrap-server hadoop-node1:19092 --topic test-sasl --from-beginning --consumer.config config/kerberos/client.properties
#消费组
$ ./bin/kafka-console-consumer-sasl.sh --bootstrap-server hadoop-node1:19092 --topic test-sasl --from-beginning --group test-sasl --consumer.config config/kerberos/client.properties

5、检查消费组积压

$ cd $KAFKA_HOME
$ ./bin/kafka-consumer-groups-sasl.sh --bootstrap-server hadoop-node1:19092 --describe --group test-sasl --command-config config/kerberos/client.properties

四、Kafka 用户暗码认证(SASL/PLAIN )

SASL/PLAIN 是一种简略的用户名/暗码认证机制,通常与 TLS 一起用于加密以完成安全认证。Kafka 支撑 SASL/PLAIN 的默认完成,能够依照此处所述进行扩展以供出产运用。

1)Kafka 服务端装备

1、装备jaas

在每个 Kafka 署理的装备目录中添加一个通过恰当修正的 JAAS 文件,相似于下面的文件,我们将其命名为 kafka_server_jaas.conf 以用于本示例:

$ mkdir $KAFKA_HOME/config/userpwd
$ cat >$KAFKA_HOME/config/userpwd/kafka_server_jaas.conf <<EOF
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="adminpasswd"
    user_admin="adminpasswd"
    user_kafka="123456"
    user_producer="producerpwd"
    user_consumer="consumerpwd";
};
EOF
  • 该文件中username和password是界说zookeeper集群节点之间认证的用户名和暗码
  • user_开头装备的用户kafka和暗码kafka是提供给外部应用连接zookeeper运用的,后边kafka运用此用户连接zookeeper。上面装备的user_kafka="123456",用户为kafka,暗码为123456
  • username为admin的用户,和user为admin的用户,暗码要保持一致,否则会认证失利

上述装备中,创立了三个用户,分别为adminproducerconsumer(创立多少个用户,可根据事务需求装备,用户名和暗码可自界说设置)

2、装备服务发动参数(kafka-server-start.sh)

$ cd $KAFKA_HOME
$ cp $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/bin/kafka-server-start-pwd.sh
$ vi $KAFKA_HOME/bin/kafka-server-start-pwd.sh

在倒数第二行添加如下装备(bin/kafka-server-start-pwd.sh):

export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server -Djava.security.auth.login.config=/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/userpwd/kafka_server_jaas.conf"

3、装备服务发动文件(server.properties)

$ cp $KAFKA_HOME/config/server.properties $KAFKA_HOME/config/server-pwd.properties

添加或修正如下装备:

listeners=SASL_PLAINTEXT://0.0.0.0:19092
# 不同的机器修正成对应的主机名
advertised.listeners=SASL_PLAINTEXT://hadoop-node1:19092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
allow.everyone.if.no.acl.found=true

2)Kafka 客户端装备

1、创立客户端认证装备文件

$ cat >$KAFKA_HOME/config/userpwd/kafka_client_jaas.conf <<EOF
KafkaClient {
	org.apache.kafka.common.security.plain.PlainLoginModule required
	username="kafka"
	password="123456";
};
EOF

2、在装备文件中添加特点

client.propertiesproducer.propertiesconsumer.properties 中为每个客户端装备 JAAS 装备特点。

  • 新增client.properties
$ cat >$KAFKA_HOME/config/userpwd/client.properties <<EOF
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
EOF
  • 装备producer.properties
$ cp $KAFKA_HOME/config/producer.properties $KAFKA_HOME/config/producer-pwd.properties
# 在文件末尾添加
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
  • 装备consumer.properties
$ cp $KAFKA_HOME/config/consumer.properties $KAFKA_HOME/config/consumer-pwd.properties
# 在文件末尾添加
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

3、装备kafka-topics.sh等操作文件

$ cp $KAFKA_HOME/bin/kafka-topics.sh $KAFKA_HOME/bin/kafka-topics-pwd.sh
$ cp $KAFKA_HOME/bin/kafka-console-producer.sh $KAFKA_HOME/bin/kafka-console-producer-pwd.sh
$ cp $KAFKA_HOME/bin/kafka-console-consumer.sh $KAFKA_HOME/bin/kafka-console-consumer-pwd.sh
$ cp $KAFKA_HOME/bin/kafka-consumer-groups.sh $KAFKA_HOME/bin/kafka-consumer-groups-pwd.sh

在倒数第二行添加如下装备(bin/kafka-xxx.sh):

export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/bigdata/hadoop/server/kafka_2.13-3.1.1/config/userpwd/kafka_client_jaas.conf"

3)测验验证

发动服务

$ cd $KAFKA_HOME
$ ./bin/kafka-server-start-pwd.sh config/server-pwd.properties

1、检查topic列表

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-pwd.sh --list --bootstrap-server hadoop-node1:19092 --command-config config/userpwd/client.properties

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

上面现已在单机上验证是没问题了,现在就发动三台机器在验证

# 首先将修正的文件copy到别的两台机器上
# kafka 账号暗码认证装备
scp -r $KAFKA_HOME/config/userpwd hadoop-node2:$KAFKA_HOME/config/
scp -r $KAFKA_HOME/config/userpwd hadoop-node3:$KAFKA_HOME/config/
# kafka server发动脚本
scp $KAFKA_HOME/bin/kafka-server-start-pwd.sh hadoop-node2:$KAFKA_HOME/bin/
scp $KAFKA_HOME/bin/kafka-server-start-pwd.sh hadoop-node3:$KAFKA_HOME/bin/
# 【温馨提示】留意修正broker.id、advertised.listeners
# kafka server 装备
scp $KAFKA_HOME/config/server-pwd.properties hadoop-node2:$KAFKA_HOME/config/
scp $KAFKA_HOME/config/server-pwd.properties hadoop-node3:$KAFKA_HOME/config/
# topic
scp $KAFKA_HOME/bin/kafka-topics-pwd.sh hadoop-node2:$KAFKA_HOME/bin/
scp $KAFKA_HOME/bin/kafka-topics-pwd.sh hadoop-node3:$KAFKA_HOME/bin/
# 生成者
scp $KAFKA_HOME/bin/kafka-console-producer-pwd.sh hadoop-node2:$KAFKA_HOME/bin/
scp $KAFKA_HOME/bin/kafka-console-producer-pwd.sh hadoop-node3:$KAFKA_HOME/bin/
# 顾客
scp $KAFKA_HOME/bin/kafka-console-consumer-pwd.sh hadoop-node2:$KAFKA_HOME/bin/
scp $KAFKA_HOME/bin/kafka-console-consumer-pwd.sh hadoop-node3:$KAFKA_HOME/bin/
# 消费组
scp $KAFKA_HOME/bin/kafka-consumer-groups-pwd.sh hadoop-node2:$KAFKA_HOME/bin/
scp $KAFKA_HOME/bin/kafka-consumer-groups-pwd.sh hadoop-node3:$KAFKA_HOME/bin/

发动服务

$ cd $KAFKA_HOME
$ ./bin/kafka-server-start-pwd.sh -daemon  config/server-pwd.properties

2、创立topic

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-pwd.sh --create --topic test-pwd --bootstrap-server hadoop-node1:19092  --partitions 3 --replication-factor 3 --config retention.ms=259200000 --command-config config/userpwd/client.properties

3、检查topic概况

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-pwd.sh --bootstrap-server hadoop-node1:19092 --describe --topic test-pwd --command-config config/userpwd/client.properties

4、删除topic

$ cd $KAFKA_HOME
$ ./bin/kafka-topics-pwd.sh --delete --topic test-pwd --bootstrap-server hadoop-node1:19092 --command-config config/userpwd/client.properties

4、出产/消费

运转 kafka-console-producer-sasl.sh 出产音讯:

$ cd $KAFKA_HOME
$ ./bin/kafka-console-producer-pwd.sh --bootstrap-server hadoop-node1:19092 --topic test-pwd --producer.config config/userpwd/client.properties
{"id":"1","name":"n1","age":"20"}
{"id":"2","name":"n2","age":"21"}
{"id":"3","name":"n3","age":"22"}

运转 bin/kafka-console-consumer-sasl.sh 消费音讯:

$ cd $KAFKA_HOME
$ ./bin/kafka-console-consumer-pwd.sh --bootstrap-server hadoop-node1:19092 --topic test-pwd --from-beginning --consumer.config config/userpwd/client.properties
#消费组
$ ./bin/kafka-console-consumer-pwd.sh --bootstrap-server hadoop-node1:19092 --topic test-pwd --from-beginning --group test-sasl --consumer.config config/userpwd/client.properties

5、检查消费组积压

$ cd $KAFKA_HOME
$ ./bin/kafka-consumer-groups-pwd.sh --bootstrap-server hadoop-node1:19092 --describe --group test-pwd --command-config config/userpwd/client.properties

五、CDH 启用Kerberos认证

CDH的装置能够参阅我之前的文章:大数据Hadoop之——Cloudera Hadoop(CM 6.3.1+CDH 6.3.2环境布置)

1)装置Kerberos

Kerberos详解装置解说能够参阅我之前的文章:Kerberos认证原理与环境布置

2)为CM创立办理员主体/实例

$ kadmin.local -q "add_principal cloudera-scm/admin"
输入暗码:123456

3)在CM上敞开Kerberos认证

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

全选

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

通过CM办理krb5.conf,这儿我现已提前装备好了,所以不选了。直接下一步持续

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

装备CM的kerberos办理用户(cloudera-scm/admin),上面创立的

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

主动导入导入 KDC Account Manager 凭证 ,直接下一步持续

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

现已装好了kerberos客户端,直接下一步持续即可

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

主动中止集群为每个组件创立一个kerberos认证用户,然后再主动发动每个组件,等候一段时间即可

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

完成kerberos装置与装备

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

检查CM主动创立的kerberos用户

$ kadmin.local -q "listprincs"

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

3)简略运用

用户拜访服务认证

敞开Kerberos安全认证之后,日常的拜访服务(例如拜访HDFS,消费Kafka topic等)都需求先进行安全认证

1、在Kerberos数据库中创立用户主体/实例

$ kadmin.local -q "addprinc hive/hive@HADOOP.COM"
输入暗码:123456
再确认暗码:123456

2、进行用户认证拜访HDFS

# 清理当前用户
$ kdestroy
$ hadoop fs -ls /
# 发现假如没登录,就拜访不了了

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

登录

# 生成ketab文件,一般常用keytab文件去做认证
$ kadmin.local -q "xst -k /root/hive.keytab hive/hive@HADOOP.COM"
$ kinit -kt /root/hive.keytab hive/hive
$ klist
$ hadoop fs -ls /

大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)

拜访其它组件也相似,这儿就不再演示了,感兴趣的小伙伴能够去操练验证一下,本章也到这先完毕了,有疑问的小伙伴,欢迎给我留言哦,后续会分享更多关于大数据的文章,请小伙伴耐心等候~