Spring Boot + Spring Kafka装备公网接入阿里云Kafka

场景阐明

今日接到的一个使命是做公网接入阿里云kafka不引荐经过公网拜访

因为经过公网问,需求装备为客户端接入装备SASL_SSL的鉴权,设置证书,协议,拜访形式的账号暗码等参数。

自己的使用选用的是spring boot + spring kafka来接入kafka。

因而,在装备上需求做一些适配和调整。

官方文档

https://help.aliyun.com/knowledge_detail/99958.html

原生的装备,首要有几个点:

  • 在操控台下载ssl证书 ---- kafka.client.truststore.jks,放在机器的某个途径上,不要跟着使用打包
  • 构建 kafka_client_jaas.conf,它包括着登录形式,登选用账号暗码等的信息,账号暗码信息在操控台上能找到。将使用发动参数java.security.auth.login.config设置为kafka_client_jaas.conf的绝对途径,能够经过代码或许发动参数设置。

留意 : spring boot装备中能够不需求的这个kafka_client_jaas.conf,它经过读取application.yaml中的装备生成了一个,设置到使用中,详细见下。

  • 根证书是有暗码,阿里云kafka证书一致的解析暗码为KafkaOnsClient
  • 接入协议为SASL_SSL, 鉴权方法为PLAIN

装备适配

因为选用spring boot + spring kafka来接入kafka,装备的时分需求做一下适配调整。

spring boot读取kafka特点的类为org.springframework.boot.autoconfigure.kafka.KafkaProperties,其间也包括有SSL, JAAS的装备项,这些是咱们需求装备的。

当然也有一些额定的装备,需求经过通用的properties给设置进去,让spring读取到,转换成kafka-client的装备。

SSL

首要是设置证书文件的绝对途径和证书解密暗码。

这儿是别离都为producer, consumer设置ssl的参数

JAAS

首要是装备特点,然后构建一个相似kafka_client_jaas.conf的文件,设置到使用中,终究的本质也仍然是将生成的文件途径设置给java.security.auth.login.config这个使用变量。

spring:
kafka:
jaas:
enabled: true
loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
controlFlag: REQUIRED
options:
username: aliyun-kafka-username
password: aliyun-kafka-password
...

其间各个特点的值能够对照阿里云官方接入文档中kafka_client_jaas.conf文件内容进行装备

额定参数

经过producer, consumer的properties特点能够增加额定自定义的特点,这儿首要设置了

  • sasl.mechanism: PLAIN
  • security.protocol: SASL_SSL

装备比如

spring:
kafka:
bootstrap-servers: kafka-server1, kafka-server2, kafka-server3
jaas:
enabled: true
loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
options:
username: aliyun-kafka-username
password: aliyun-kafka-password
consumer:
ssl:
truststorePassword: KafkaOnsClient
truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
properties:
sasl.mechanism: PLAIN
security.protocol: SASL_SSL
group-id: consumer-group
max-poll-records: 2
producer:
ssl:
truststorePassword: KafkaOnsClient
truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
retries: 3
acks: 1
compression-type: lz4
buffer-memory: 33554432
batch-size: 51200
properties:
send.buffer.bytes: 262144
sasl.mechanism: PLAIN
security.protocol: SASL_SSL