我的数据流作业似乎总是创建一个新的默认 Google Cloud Storage 存储桶，即使定义了暂存位置、临时位置和 gcpTempLocation。在查看了Apache Beam（2.6.0）库代码后，GcpOptions中的这些行.java似乎是罪魁祸首：

String tempLocation = options.getTempLocation();
  if (isNullOrEmpty(tempLocation)) {
    tempLocation =
        tryCreateDefaultBucket(
            options,
            newCloudResourceManagerClient(options.as(CloudResourceManagerOptions.class))
                .build());
    options.setTempLocation(tempLocation);
  }

但是，只有在PipelineOptions中未定义tempLocation的情况下才应该执行此代码，并且我已经使用命令行参数和setTempLocation方法设置了tempLocation。我通过扩展GcpOptions并添加一些额外的选项getter和setter来定义Options接口。

如果我没有在Options界面中定义temlocegetter和setter，那么看起来就好像temloce将自动默认为新创建的默认存储桶的temp文件夹（gs：//dataflow-staging-us-Cental1-job_number/temp），但我已经定义了temloce命令行参数。

以下是数据流作业的主要方法：

public static void main(String[] args) {
    Options options = PipelineOptionsFactory.fromArgs(args).as(Options.class);
    GoogleCredentials credentials = null;
    try {
        credentials = GoogleCredentials.fromStream(new FileInputStream("./src/main/resources/credentials.json"))
                .createScoped(Lists.newArrayList("https://www.googleapis.com/auth/cloud-platform"));
    } catch (IOException e) {
        e.printStackTrace();
    }
    options.setGcpCredential(credentials);
    options.setTempLocation("gs://example_bucket/temp");
    options.setGcpTempLocation("gs://example_bucket/temp");
    run(options);
}

谁能解释为什么总是创建默认存储桶以及如何避免这种情况？

编辑:

看起来好像我使用相同的参数直接从命令行部署数据流作业，而不是生成数据流模板，然后通过控制台界面部署作业。tempLocation似乎设置正确，并且没有创建额外的bucket。这似乎解决了我遇到的问题，但我不完全确定为什么这个解决方案有效。