提问者:小点点

是否可以在项目或组织级别设置Google Cloud Dataflow使用的区域?


我的雇主最近开始使用谷歌云平台进行数据存储/处理/分析。我们总部位于欧盟,所以我们希望将我们的云数据流工作限制在该区域内。我想这可以在每个工作/每个工作模板的基础上使用--region和--zone来完成,但是想知道(考虑到我们所有的工作都将使用同一个区域)是否有办法在更广泛的层面(项目或组织)以更持久的方式设置它?谢谢斯蒂芬

更新:

追求这个,似乎Adla的答案是正确的,尽管还有另一个解决方法(我会用它来回应)。除此之外,现在谷歌有一个公开的问题,可以在https://issuetracker.google.com/issues/113150550找到/跟踪

我可以提供更多关于不起作用的事情的信息,以防帮助他人:

谷歌支持建议更改dataprep相关文件夹的存储位置,根据如何更改google dataprep的dataflow job正在运行的区域/区域-不幸的是,这对我不起作用,尽管一些回答这个问题的人建议他们这样做。

在我的工作场所,有人建议在这里限制Dataflow对非欧盟地区的配额:https://console.cloud.google.com/iam-admin/quotas将其用于使用适当的地区,但经过测试,Dataprep继续支持使用US。


共2个答案

匿名用户

Cloud Dataflow使用us-cental1作为每个作业的默认区域,如果所需的区域终结点与默认区域不同,则需要在启动的每个Cloud Dataflow命令作业中指定该区域以使其在那里运行。该区域将自动分配工作人员到区域内的最佳区域,但您也可以使用--zone指定它。

到目前为止,无法根据项目或组织设置强制使用云数据流使用的区域或区域。

我建议您申请新的Google Cloud Platform功能。请务必解释您的用例以及此功能如何对您有用。

作为一种解决方法,要限制在数据流上为特定区域和区域创建作业,您可以编写脚本或应用程序来仅创建具有您需要的特定区域和区域的作业。如果您还想限制只能使用该脚本创建作业,您可以删除用户的作业创建权限,并仅将此权限授予该脚本将使用的服务号

匿名用户

Google支持提供给我的解决方案,基本上需要使用Dataprep作为Dataflow作业构建器,而不是工具本身

  1. 在Dataprep中创建所需的流,但如果有数据无法发送到区域外,请创建一个版本(示例或完整),其中敏感数据被混淆或删除

这并不简单,但可以做到。我正在使用这样的过程,设置对RESTAPI的调用,以便在没有Dataflow自己的调度程序的情况下触发作业。