在Google Cloud Dataflow中不使用DirectPipelineRunner读取/写入本地

提问者：小点点

是否可以在不使用DirectPipelineRunner的情况下在本地读取/写入数据？假设我在云上创建了一个数据流模板，我希望它读取一些本地数据。这可能吗？

谢谢…

共1个答案

匿名用户

您需要先将输入文件暂存到Google Cloud Storage并从那里读取。您的代码如下所示：

p.apply(TextIO.read().from(gs://bucket/folder)

其中gs：//bucket/文件夹是GCS中文件夹的路径，假设您使用的是最新的Beam版本（2.0.0）。之后，您可以将输出从GCS下载到本地计算机。