我想在将新文件添加到Storage存储桶时触发Dataflow作业,以便处理新数据并将其添加到BigQuery表中。我看到Cloud Functions可以通过存储桶中的更改触发,但我还没有找到使用gcloud node. js库启动Dataflow作业的方法。
是否有方法使用Cloud Functions执行此操作,或者是否有其他方法来实现所需的结果(在将文件添加到存储桶时将新数据插入BigQuery)?
从2.2开始,Apache Beam支持这一点。请参阅在Apache Beam中监视与文件类型匹配的新文件。
也许这篇文章有助于了解如何从App Engine或Cloud Functions触发Dataflow管道?
https://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions