我使用Apache Beam 2.13.0与GCP数据流运行器。

我有一个从批处理管道流式摄取到BigQuery的问题：

PCollection<BigQueryInsertError> stageOneErrors =
  destinationTableSelected
    .apply("Write BQ Attempt 1",
      BigQueryIO.<KV<TableDestination, TableRow>>write()
                .withMethod(STREAMING_INSERTS)
                .to(new KVTableDestination())
                .withFormatFunction(new KVTableRow())
                .withExtendedErrorInfo()
                .withFailedInsertRetryPolicy(InsertRetryPolicy.neverRetry())
                .withCreateDisposition(CreateDisposition.CREATE_NEVER)
                .withWriteDisposition(WriteDisposition.WRITE_APPEND))
                .getFailedInsertsWithErr();

错误：

 Shutting down JVM after 8 consecutive periods of measured GC thrashing. 
 Memory is used/total/max = 15914/18766/18766 MB, 
 GC last/max = 99.17/99.17 %, #pushbacks=0, gc thrashing=true. 
 Heap dump not written.

相同的代码在流模式下正常工作（如果省略了显式方法设置）。

该代码适用于相当小的数据集（少于200万条记录）。超过250万失败。

从表面上看，这似乎是一个类似于这里描述的问题：在连续8次测量GC后关闭JVM

创建单独的问题以添加其他详细信息。

我能做些什么来解决这个问题吗？看起来问题出在BigQueryIO组件本身-GroupBy键失败。