主页 / dba / 问题 / 313519
Accepted
Matt Brown
Asked: 2022-06-19 10:51:17 +0800 CST

Kafka 管道的 SSL 加密

  • 772

有任何 [SingleStore] 用户吗？

为了为 Kafka 管道启用 SSL 加密（仅），我们创建了如下管道：

CREATE PIPELINE `kafka_ssl`
AS LOAD DATA KAFKA '<kafka-host>:<kafka-port>/test'
CONFIG '{"security.protocol": "ssl"
"ssl.ca.location": "<path-to-the-ca-certificate>"}''
INTO table <t>;

来自https://docs.memsql.com/v7.0/concepts/pipelines/kafka-kerberos-ssl/ 22

请注意，我们不是在寻找客户端身份验证（双向 TLS 连接）。这需要我们手动将 CA 证书复制到 memsql 节点并提供该路径。这适用于独立的 Kafka 集群。

如果我们使用 AWS MSK，推荐的方法是什么？

以下文档指向 MSK 客户端的 SSL 加密客户端配置。他们使用客户端信任库位置作为属性，该属性不是 memsql 管道配置 json 的标识属性

https://docs.aws.amazon.com/msk/latest/developerguide/msk-encryption.html 10 https://docs.aws.amazon.com/msk/latest/developerguide/msk-authentication.html

在 SingleStore 论坛中查看其他有相同问题的人。无法创建从 Singlestore in a box 到 AWS MSK 的管道。

encryption ssl

1 个回答

  1. Best Answer

    我们假设，

    这是您（== 客户的）服务名称：com.amazonaws.vpce.ap-southeast-2.vpce-svc-05738b36bf477df03

    这是您的端点的（== ss 的）dns 名称：com.amazonaws.vpce.ap-southeast-2.vpce-svc-05738b36bf477df03 vpce-07e59dd12b36925ee-q2lyxq0y.vpce-svc-05738b36bf477df03.ap-southeast-2vp。 .amazonaws.com vpce-svc-06f99678d75724074.ap-southeast-2.vpce.amazonaws.com

    DNS == vpce-07e59dd12b36925ee-q2lyxq0y.vpce-svc-05738b36bf477df03.ap-southeast-2.vpce.amazonaws.com 用于 __spoof.dns；vpce-svc-06f99678d75724074.ap-southeast-2.vpce..com com.amazonaws.vpce.ap-southeast-2.vpce-svc-06f99678d75724074

    创建或替换管道 kafka_insert_thing_event_v0 作为加载数据 KAFKA 'DNS:6000/prod_common_v0_event_wrapper_thing_event' CONFIG '{ "__spoof.dns": { "DNS:6000": "DNS:6000", "b-1.events.eg3qf0.c2.kafka .ap-southeast-2.amazonaws.com:9092": "DNS:6001", "b-2.events.eg3qf0.c2.kafka.ap-southeast-2.amazonaws.com:9092": "DNS:6002 ", "b-3.events.eg3qf0.c2.kafka.ap-southeast-2.amazonaws.com:9092": "DNS:6003" } }' INTO TABLE t ;

    我还附上了与 SingleStore 集成的 MSK 文档以供参考。我希望它会帮助你。

    https://docs.google.com/document/d/17nl9S__oxIo4J30OM1WHTkkqrCSYFqJ44sUcJxKM0QA/edit?usp=sharing&urp=gmail_link

    • 1

相关问题