我正在尝试自动化整个数据加载,这意味着每当我将文件上传到Google Cloud存储时,它会自动触发将数据上传到BigQuery数据集中。我知道有一个每日设置的定时更新可用,但我想要的东西只有在CSV文件重新上传时才会触发。
你有两种可能:
>
或者你对事件做出反应。我的意思是你可以在谷歌云存储事件上插入一个功能。在事件消息中,你将文件存储在GCS中,你可以对它做你想做的事情,例如从谷歌云存储运行加载作业。
或者,什么都不做!让文件GCS并创建一个BigQuery联合表来读取GCS
使用这2个解决方案,BigQuery可以访问您的数据。您的Datastudio图可以查询BigQuery,数据在这里。但是。
所以,大数据是一个广泛的领域:你需要在加载之前转换数据吗?你可以在日志之后转换它们吗?你如何链接查询其他之后的那些?……
如果您对此有其他问题,请不要犹豫!