场景阐明
今日接到的一个使命是做公网接入阿里云的kafka。不引荐经过公网拜访。
因为经过公网问,需求装备为客户端接入装备SASL_SSL的鉴权,设置证书,协议,拜访形式的账号暗码等参数。
自己的使用选用的是spring boot + spring kafka来接入kafka。
因而,在装备上需求做一些适配和调整。
官方文档
https://help.aliyun.com/knowledge_detail/99958.html
原生的装备,首要有几个点:
- 在操控台下载ssl证书 ---- kafka.client.truststore.jks,放在机器的某个途径上,不要跟着使用打包
- 构建 kafka_client_jaas.conf,它包括着登录形式,登选用账号暗码等的信息,账号暗码信息在操控台上能找到。将使用发动参数java.security.auth.login.config设置为kafka_client_jaas.conf的绝对途径,能够经过代码或许发动参数设置。
留意 : spring boot装备中能够不需求的这个kafka_client_jaas.conf,它经过读取application.yaml中的装备生成了一个,设置到使用中,详细见下。
- 根证书是有暗码,阿里云kafka证书一致的解析暗码为KafkaOnsClient。
- 接入协议为SASL_SSL, 鉴权方法为PLAIN。
装备适配
因为选用spring boot + spring kafka来接入kafka,装备的时分需求做一下适配调整。
spring boot读取kafka特点的类为org.springframework.boot.autoconfigure.kafka.KafkaProperties,其间也包括有SSL, JAAS的装备项,这些是咱们需求装备的。
当然也有一些额定的装备,需求经过通用的properties给设置进去,让spring读取到,转换成kafka-client的装备。
SSL
首要是设置证书文件的绝对途径和证书解密暗码。
这儿是别离都为producer, consumer设置ssl的参数
JAAS
首要是装备特点,然后构建一个相似kafka_client_jaas.conf的文件,设置到使用中,终究的本质也仍然是将生成的文件途径设置给java.security.auth.login.config这个使用变量。
spring:
kafka:
jaas:
enabled: true
loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
controlFlag: REQUIRED
options:
username: aliyun-kafka-username
password: aliyun-kafka-password
...
其间各个特点的值能够对照阿里云官方接入文档中kafka_client_jaas.conf文件内容进行装备
额定参数
经过producer, consumer的properties特点能够增加额定自定义的特点,这儿首要设置了
- sasl.mechanism: PLAIN
- security.protocol: SASL_SSL
装备比如
spring:
kafka:
bootstrap-servers: kafka-server1, kafka-server2, kafka-server3
jaas:
enabled: true
loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
options:
username: aliyun-kafka-username
password: aliyun-kafka-password
consumer:
ssl:
truststorePassword: KafkaOnsClient
truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
properties:
sasl.mechanism: PLAIN
security.protocol: SASL_SSL
group-id: consumer-group
max-poll-records: 2
producer:
ssl:
truststorePassword: KafkaOnsClient
truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
retries: 3
acks: 1
compression-type: lz4
buffer-memory: 33554432
batch-size: 51200
properties:
send.buffer.bytes: 262144
sasl.mechanism: PLAIN
security.protocol: SASL_SSL
发表评论