我的Google Cloud Storage中有很多*. gz文件。我想将这些数据加载到BigQuery。我已经尝试执行
bq load --source_format=AVRO projectId:dataset.table gs://bucket/*.gz
但收到错误
The Apache Avro library failed to parse file gs://bucket/f92d8ae3-6eba-4e35-9fc0-b8f31b4b9881-part-r-00004.gz.
是否可以将压缩数据上传到BigQuery?解决这些问题的最佳方法是什么?
不支持压缩的Avro文件…查看Avro格式的更多信息