提问者:小点点

Kafka Connect。如何设置批次大小,指定何时关闭零件文件并开始新的零件文件


我有一个 Flink 作业,它可以读取 Kafka avro 主题并将文件写入 HDFS。为了管理滚动文件大小,我使用接收器集批大小 - 存储桶文件接收器 https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/connectors/filesystem_sink.html#bucketing-file-sink

sink.setBatchSize(1024 * 1024 * 400) // this is 400 MB,

我想用Kafka Connect重复同样的操作,得到大小相等的文件。你能帮我找到管理文件大小的相同参数吗?我只找到了< code>flush.size参数,该参数允许我设置关闭文件并开始新文件之前的记录数量。冲洗尺寸


共1个答案

匿名用户

HDFS 接收器中没有此类属性可以按文件大小刷新。查看 Github 上的相关问题