提问者:小点点

将google数据流管道的结果写入多个接收器


我想将Google数据流管道结果写入多个接收器。

比如,我想使用TextIO将结果写入Google Cloud Storage,以及将结果写入BigQuery中的表。我该怎么做?


共1个答案

匿名用户

Cloud Dataflow管道的结构是DAG(有向无环图),允许对同一个PCollection应用多个转换-写入转换也不例外。您可以对结果的PCollection应用多个写入转换,例如:

PCollection<Foo> results = p.apply(TextIO.Read.named("ReadFromGCS").from("gs://..."))
                         .apply(...the rest of your pipeline...);
results.apply(TextIO.Write.named("WriteToGCS").to("gs://..."));
results.apply(BigQueryIO.Write.named("WriteToBigQuery").to(...)...);

相关问题