提问者:小点点

持续运行Azure数据工厂管道


我需要将数据从一个SQL表增量复制到另一个SQL表。水印或键列是标识列。我的老板希望我在加载完成后立即重新启动…如您所知,完成时间可能会有所不同。在Azure数据工厂中,触发器选项是计划、翻滚窗口和自定义事件。有人知道哪个选项允许我实现管道的这种连续运行以及如何配置它吗?


共3个答案

匿名用户

创建一个新管道。将其称为“永远运行”。添加一个具有从不为真条件的“直到”活动,例如@equals(1,2)

在直到执行在表之间复制的管道内。确保勾选“等待完成”。

如果表复制失败,那么“永远运行”将失败,并且必须手动重新启动。您可能不希望安排“永远运行”,因为如果它实际上没有失败,计划的调用将排队。

匿名用户

ADF中的管道是基于批处理的。您可以使用计划触发设置1分钟的“微批次”或使用翻转窗口设置5分钟的“微批次”。

匿名用户

ADF将批量运行。如果您想连续加载数据,那么您可以使用流分析/事件中心来加载实时数据

相关问题