我正在尝试在Google Big QueryUI中使用betaCloud DataFlowSQL创建数据流作业。我的数据源是Cloud Storage Fileset(即通过数据目录定义的Cloud Storage中的一组文件)。按照GCP留档,我能够定义我的文件集,为其分配模式并在Big QueryUI的资源选项卡中可视化它。但是,我无法在查询编辑器中启动任何Dataflow作业,因为我在查询验证器中收到以下错误消息:未找到表:datacatalog. entry.location。entry_group。fileset_name…
是某些API未授权的问题吗?感谢您的帮助!
您可能在完整路径中使用了错误的位置。当您创建数据目录文件集时,请检查您提供的位置,即:使用文档中的销售区域
示例:
gcloud data-catalog entries create us_state_salesregions \
--location=us-central1 \
--entry-group=dataflow_sql_dataset \
--type=FILESET \
--gcs-file-patterns=gs://us_state_salesregions_{my_project}/*.csv \
--schema-from-file=schema_file.json \
--description="US State Sales regions..."
构建DataFlowSQL查询时:
SELECT tr.*, sr.sales_region
FROM pubsub.topic.`project-id`.transactions as tr
INNER JOIN
datacatalog.entry.`project-id`.`us-central1`.dataflow_sql_dataset.us_state_salesregions AS sr
ON tr.state = sr.state_code
检查完整路径,它应该类似于上面的示例:
datacatalog. entry,然后你的位置-在这个例子中是us-cental1,接下来是你的项目id,接下来是你的条目组id-在这个例子中dataflow_sql_dataset,接下来是你的条目id-在这个例子中us_state_salesregions
让我知道这是否适合你。