iceberg_compaction_commit_batch_size
バックグラウンドの Iceberg コンパクション が、新しい snapshot でパブリッシュするまでに蓄積する、マージ済みデータファイルの数です。 コンパクション の候補がなくなった時点で、コンパクション の結果は必ずパブリッシュされます。したがって、この設定で制限されるのは、コンパクション が新たな処理対象を見つけ続けている間、すでにマージされたファイルが未パブリッシュのまま保持される時間だけです。0 を指定すると、コンパクション の候補が尽きた場合にのみパブリッシュする従来の動作に戻ります。table が新しいデータファイルを受け取り続けている間はこの状態に到達しないため、マージ済みの出力はすべて object storage に書き込まれますが、snapshot から参照されることはありません。
iceberg_compaction_data_cleanup
この時間を過ぎると、データは削除されます。iceberg_compaction_delay_bias
2 回のバックグラウンド コンパクション 操作の最小間隔。iceberg_compaction_max_bytes_in_data_file
コンパクションによって生成される iceberg parquet データファイルの最大バイト数。 デフォルト値は Iceberg table propertywrite.target-file-size-bytes のドキュメント記載のデフォルト値 (512 MiB) に合わせています。
https://iceberg.apache.org/docs/1.5.2/configuration/ を参照してください。この値は
iceberg_data_file_size_lower_threshold_compaction より大きく保ってください。そうしないと、すべての出力ファイルが下限しきい値を下回り、
再びコンパクションの対象として選択されてしまいます。
iceberg_compaction_max_rows_in_data_file
コンパクションで生成される Iceberg Parquet データファイルの最大行数。デフォルトでは最大値に設定されており、 Iceberg にwrite.target-file-size-bytes の行数版が存在しないのと同様に、サイズ上限である
iceberg_compaction_max_bytes_in_data_file のみが出力ファイルに入るデータ量を決定します。