提问者:小点点

微服务架构-在顺序无关紧要时通过服务传递消息


tl;博士:“我如何通过一堆异步、无序的微服务推送消息,并知道该消息何时通过每个微服务?”

我正在努力为特定的微服务体系结构找到合适的消息传递系统/协议。这不是一个“哪个是最好的”问题,而是一个关于我的设计模式/协议选项的问题。

  • 我在开始队列上有一条消息。假设带有序列化JSON的RabbitMQ消息
  • 我需要该消息通过任意数量的微服务
  • 这些微服务中的每一个都是长时间运行的,必须是独立的,并且可以用多种语言实现
  • 消息经过的服务顺序并不重要。事实上,它不应该是同步的。
  • 每个服务都可以将数据附加到原始消息中,但其他服务会忽略该数据。不应该有合并冲突(每个服务都写入一个唯一的密钥)。任何服务都不会更改或销毁数据。
  • 一旦轮到所有服务,消息应该发布到第二个RabbitMQ队列,其中包含原始数据和新数据。
  • 微服务不会有其他副作用。如果这一切都在一个单体应用程序中(并且使用相同的语言),函数式编程将是完美的。

所以,问题是,通过各种服务管理该消息的适当方式是什么?我不想一次做一个,而且顺序也不重要。但是,如果是这样的话,系统如何知道所有服务何时都已完成,并且最终消息可以写入到结束队列中(以便让下一批服务完成)。

我唯一能想到的半优雅的解决方案是

  1. 要让第一个遇到消息的服务将该消息写入公共存储(例如mongoDB)
  2. 让每个服务做它的事情,标记它已完成该消息,然后检查是否所有服务都已轮到它们
  3. 如果是这样,最后一个服务将发布消息

但这仍然要求每个服务都知道所有其他服务,并要求每个服务都留下自己的印记。这两个都不是我们想要的。

我愿意接受某种“牧羊人”服务。

我很感激我错过的任何选择,并愿意承认它们可能是一个更好的基本设计。

非常感谢。


共2个答案

匿名用户

管理长时间运行的流程(或涉及多个微服务的流程)有两种方法:编排和编排。有很多文章描述了它们。

长话短说:在编排中,您有一个跟踪流程状态的微服务,在编排中,所有微服务都知道下一条消息发送到哪里和/或流程何时完成。

本文解释了这两种风格的好处和权衡。

编排优势

  • 提供了一种在有同步处理时控制应用程序流的好方法。例如,如果服务A需要在调用服务B之前成功完成

业务流程权衡

>

  • 将服务耦合在一起,创建依赖关系。如果服务A关闭,则永远不会调用服务B和C。

    如果所有请求都有一个orchestrator的中央共享实例,则orchestrator是一个单点故障。如果下降,所有处理都会停止。

    利用阻止请求的同步处理。在此示例中,端到端的总流转时长是调用服务A服务B服务C所需的时间之和。

    编排优势

    >

  • 启用更快的端到端处理,因为服务可以并行/异步执行。

    更容易添加/更新服务,因为它们可以轻松插入/退出事件流。

    与敏捷交付模型非常一致,因为团队可以专注于特定服务而不是整个应用程序。

    控制是分布式的,因此不再有单个编排器作为故障的中心点。

    有几种模式可以与反应式体系结构一起使用,以提供额外的好处。例如,事件源是指事件流存储所有事件并启用事件重播。这样,如果一个服务在事件仍在生成时宕机,当它重新联机时,它可以重播这些事件以进行备份。此外,还可以应用命令查询责任分离(CQRS)来分离读写活动。这使得每一个都可以独立地进行缩放。如果您的应用程序读得重,写得轻,或者读得重,写得轻,那么这就很方便了。

    舞蹈设计权衡

    >

  • 异步编程通常是开发人员的重大思维转变。我倾向于认为它类似于递归,您无法通过查看它来弄清楚代码将如何执行,您必须考虑在特定时间点可能是真的所有可能性。

    复杂性发生了变化。流控制现在被分解并分布在各个服务中,而不是集中在编排器中。每个服务都有自己的流逻辑,该逻辑将根据事件流中的特定数据确定其何时以及如何做出反应。

  • 匿名用户

    我会遵循常见的存储想法。

    让每个微服务在公共存储中注册自己。让每个微服务注册它处理消息标识符的时间。

    您可以计算出哪些n个服务应该处理它,以及n个服务中有多少个已经处理了它。

    没有服务需要相互了解。