iceberg_delete_data_on_drop
drop 時に Iceberg のすべてのファイルを削除するかどうか。iceberg_file_entries_queue_size
Iceberg データマニフェストのデコードタスクとクエリの間のキュー容量を、データファイルエントリ数で指定します。 キューが満杯になり、クエリ側が消費していない場合、デコードタスクは一時停止します。そのため、この設定は先読み量の上限にもなります。 ゼロより大きい値を指定する必要があります。iceberg_manifest_decode_concurrency
別名:iceberg_delete_manifest_decode_concurrency
テーブルの読み取り中に同時実行でデコードされる Iceberg マニフェストファイルの最大数です。
削除マニフェストは、データファイルが 1 つでも読み取られる前にすべてデコードされます。データマニフェストは、クエリ対象のデータファイル一覧が生成される間にデコードされ、クエリがデコード済みのエントリを消費するのに合わせて新たなものがデコードされます。複数のマニフェストを同時にデコードすることで、object storage へのラウンドトリップとエントリごとの pruning 処理を重ね合わせることができます。
Iceberg metadata files cache が無効、または満杯の場合、転送中の各マニフェストがそれぞれデコード済みの内容を保持するため、値を大きくするとピークメモリが増加します。
ゼロより大きい値である必要があります。1 の場合はマニフェストを 1 つずつデコードします。
iceberg_manifest_min_count_to_compact
OPTIMIZE TABLE … MANIFEST によるマニフェストのみの コンパクション をトリガーするために必要な、最小のマニフェストファイル数です。 現在のマニフェストファイル数がこのしきい値以下の場合、コンパクション はスキップされます。 allow_experimental_iceberg_compaction を有効にする必要があります。 デフォルト値は、Iceberg テーブルプロパティcommit.manifest.min-count-to-merge のドキュメント記載のデフォルト値 (100) に準じています。
https://iceberg.apache.org/docs/1.5.2/configuration/ を参照してください。
iceberg_max_number_datafiles_to_compact
Iceberg における コンパクション data files のしきい値。iceberg_orphan_files_older_than_seconds
Icebergテーブルで孤立ファイルを削除する際の、デフォルトの経過時間しきい値 (秒) です。これより新しいファイルは孤立ファイルと見なされません。remove_orphan_files() プロシージャ呼び出しで older_than 引数が省略された場合に使用されます。デフォルトは259200 (3日) です。
iceberg_snapshot_id
特定のスナップショット ID を使用して Iceberg テーブルをクエリします。iceberg_timestamp_ms
特定のタイムスタンプ時点で有効だったスナップショットを使用してIcebergテーブルをクエリします。iceberg_tolerate_conflicting_manifest_schemas
有効な場合、Iceberg のマニフェストファイルヘッダーのschema キーが、metadata.json から同じ schema-id に対してすでに登録されているスキーマと異なるスキーマを持つとき、metadata.json のスキーマが使用され、マニフェストヘッダー側のコピーは警告とともに無視されます。無効な場合、このような競合が発生するとクエリは ICEBERG_SPECIFICATION_VIOLATION エラーで失敗します。
マニフェストヘッダーのスキーマは、マニフェストが書き込まれた時点のテーブルスキーマのコピーにすぎず、一部の writer (例: AWS S3 Tables のメンテナンスジョブ) がそこに劣化したコピーを保存する事例が確認されています。他のクエリエンジンは metadata.json からスキーマを解決し、内容が食い違うヘッダー側のコピーを無視するため、デフォルトの挙動もそれに倣っています。なお、2 つの metadata.json のスキーマ定義間に競合がある場合は、引き続き常にクエリが失敗します。