iceberg_compaction_commit_batch_size
后台 Iceberg 合并整理在新快照中发布前累计的已合并数据文件数量。 当不再有可合并整理的候选项时,合并整理结果始终会被发布。因此,此设置仅限制在合并整理不断发现新任务时,已合并文件未发布的最长时间。0 会恢复旧行为:仅当合并整理没有剩余候选项时才发布——如果表持续接收新的数据文件,则永远不会达到这一状态,因此每个合并后的输出都会写入对象存储,但不会被任何快照引用。
iceberg_compaction_data_cleanup
超过该时间后,数据将被删除。iceberg_compaction_delay_bias
两次后台合并整理操作之间的最小延迟时间。iceberg_compaction_max_bytes_in_data_file
合并整理产生的 iceberg parquet 数据文件的最大字节数。 该默认值与 Iceberg 表属性write.target-file-size-bytes 的文档默认值 (512 MiB) 保持一致,
参见 https://iceberg.apache.org/docs/1.5.2/configuration/。请将其设置为高于
iceberg_data_file_size_lower_threshold_compaction,否则每个输出文件都会低于该下限阈值,
从而再次被选中进行合并整理。
iceberg_compaction_max_rows_in_data_file
合并整理生成的 Iceberg Parquet 数据文件的最大行数。默认值为最大值,因此单个输出文件中写入多少数据完全由大小限制iceberg_compaction_max_bytes_in_data_file 决定,这与
Iceberg 中 write.target-file-size-bytes 没有对应行数设置的做法一致。