提问者:小点点

Spring Cloud Data Flow (SCDF) Apache Kafka - 在哪里部署 Kafka 代理?


我不确定是否理解Spring Cloud Data Flow(SCDF)和Apache Kafka Brokers(及其相关的Zooker)之间的关系。

我阅读了几个文档并观看了关于Spring Cloud Data Flow(SCDF)的网络研讨会。我了解在此框架中不同微服务之间通信的不同绑定选项(RabbitMQ、Kafka、…)。

我找到了很多关于如何使用Kafka的信息,但没有找到在哪里运行/操作它的信息。我的假设是正确的吗?您必须独立于SCDF安装/管理/操作Kafka代理(动物园管理员)?SCDF“只是”使用Kafka代理进行内部通信,并可选地使用微服务中的业务逻辑(例如,通过使用Kafka生产者或消费者API,对吗?

即使我为SCDF使用了Mesos或Kubernetes这样的框架,Kafka Brokers(ZK)仍然是独立运行的,无论是在Mesos还是Kubernete上,还是在其他地方。

SCDF可用于部署与Kafka代理通信的Kafka应用程序——这可以是Kafka消费者/生产者、Kafka Streams应用程序,甚至是Kafka生态系统的其他部分,如Kafka Connect或KSQL。所有这些都可以在SCDF中的Spring Boot应用程序/微服务中运行。

这些说法正确吗,还是我遗漏了什么?


共2个答案

匿名用户

SCDF“只是”使用Kafka代理进行内部通信,并且-可选地-用于微服务中的业务逻辑(例如,通过使用Kafka生产者或消费者API,对吗?

需要说明的是,SCDF内部没有使用Kafka或任何其他经纪人。运行时依赖它的是应用程序本身。这些应用特别基于Spring Cloud Stream编程模型。SCDF只是将这些应用整合到一个完全一致的数据管道中。您可以分别从这里和这里阅读关于编程模型以及它们如何与binder实现(代理)交互的更多细节。

即使我为SCDF使用了Mesos或Kubernetes这样的框架,Kafka Brokers(ZK)仍然是独立运行的,无论是在Mesos还是Kubernete上,还是在其他地方。

是的-这些单独的系统没有主机代管。它们预计将单独运行和运作。

匿名用户

是的,您需要管理代理,数据流不会管理或部署您的中间件基础架构,例如消息代理或数据库