我有一个 Flink 作业,它可以读取 Kafka avro 主题并将文件写入 HDFS。为了管理滚动文件大小,我使用接收器集批大小 - 存储桶文件接收器 https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/connectors/filesystem_sink.html#bucketing-file-sink
sink.setBatchSize(1024 * 1024 * 400) // this is 400 MB,
我想用Kafka Connect重复同样的操作,得到大小相等的文件。你能帮我找到管理文件大小的相同参数吗?我只找到了< code>flush.size参数,该参数允许我设置关闭文件并开始新文件之前的记录数量。冲洗尺寸
HDFS 接收器中没有此类属性可以按文件大小刷新。查看 Github 上的相关问题