我想将Google数据流管道结果写入多个接收器。
比如,我想使用TextIO将结果写入Google Cloud Storage,以及将结果写入BigQuery中的表。我该怎么做?
Cloud Dataflow管道的结构是DAG(有向无环图),允许对同一个PCollection应用多个转换-写入转换也不例外。您可以对结果的PCollection应用多个写入转换,例如:
PCollection<Foo> results = p.apply(TextIO.Read.named("ReadFromGCS").from("gs://..."))
.apply(...the rest of your pipeline...);
results.apply(TextIO.Write.named("WriteToGCS").to("gs://..."));
results.apply(BigQueryIO.Write.named("WriteToBigQuery").to(...)...);