提问者:小点点

Dataflow/Apache Beam在什么阶段启动发布/订阅消息?


我有一个将Pub/Sub订阅作为无界源的数据流流作业。我想知道数据流在什么阶段会对传入的pub/sub消息进行攻击。在我看来,如果在数据流管道的任何阶段抛出异常,则消息将丢失。

我还想知道如何使用pub/sub无界源编写数据流管道以在失败时进行消息检索的最佳实践。谢谢!


共1个答案

匿名用户

Dataflow Streaming Runner会在捆绑包成功并且捆绑包的结果(输出和状态突变等)已持久提交后,对捆绑包收到的pubsub消息进行管理。失败的捆绑包会重试直到成功,并且不会导致数据丢失。如果您认为可能正在发生数据丢失,请提供详细信息(作业ID和您的推理,使您得出结论认为数据已因失败而丢失),我们将进行调查。