我需要从谷歌云端硬盘自动加载CSV文件到BigQuery,我想知道是否可以这样做:
我开发了一个python脚本,可以自动将存储在Cloud Storage中的CSV文件上传到BigQuery,现在我需要在Google Drive和Cloud Storage之间创建工作流。
我一直在研究,但真的不知道如何继续。
有什么提示吗?
您需要开发一个应用程序来监听更改,Google App Engine在这里或Cloud Functions运行良好。
该应用程序需要实现对您的用例有意义的检索更改逻辑。
请参阅这些Google DriveAPI文档https://developers.google.com/drive/api/v3/manage-changes
使用Drive,我建议询问OAuth是否值得任何应用程序使用。要求您的用户提交到轻量级前端可能很容易且开发速度更快。
尝试使用谷歌驱动器API从谷歌驱动器中提取数据并将其加载到您想要的任何位置,即GCS、BQ表等。您可以参考以下示例创建代码来实现相同的目的。
您需要开发一个应用程序来监听更改,Google App Engine在这里或Cloud Functions运行良好。
该应用程序需要实现对您的用例有意义的检索更改逻辑。
请参阅这些Google DriveAPI文档https://developers.google.com/drive/api/v3/manage-changes
使用Drive,我建议询问OAuth是否值得任何应用程序使用。要求您的用户提交到轻量级前端可能很容易且开发速度更快。