google-cloud-dataflow：如何从数据库读取数据并写入BigQuery

提问者：小点点

我需要从一些源数据库（如Oracle、MySQL）设置数据管道并将数据加载到BigQuery。

如何使用google-cloud-dataflow从数据库（jdbc连接）读取数据并使用Python写入BigQuery表。

此外，我在本地Hadoop集群中有一些hive表，如何将这些数据传输到BigQuery。

我找不到合适的留档或例子来实现这一点。你能给我指出正确的方向吗？

共1个答案

匿名用户

我在我的项目中应用了一个解决方案来提供这样的东西，你需要遵循以下步骤：

按照此链接将数据从Google CloudSQL加载到CSV中的Google Cloud存储。

通过以下链接，将Google云存储中的CSV数据直接加载到BigQuery中。