input_format_allow_errors_num
テキストフォーマット (CSV、TSV など) の読み込み時に許容されるエラーの最大数を設定します。 デフォルト値は 0 です。 必ずinput_format_allow_errors_ratio と組み合わせて使用してください。
行の読み込み中にエラーが発生しても、エラーカウンターが input_format_allow_errors_num 未満であれば、ClickHouse はその行を無視して次の行へ進みます。
input_format_allow_errors_num と input_format_allow_errors_ratio の両方のしきい値を超えると、ClickHouse は例外をスローします。
input_format_allow_errors_ratio
テキストフォーマット (CSV、TSV など) の読み取り時に許容されるエラーの最大割合を設定します。 エラーの割合は、0 から 1 までの浮動小数点数で指定します。 デフォルト値は 0 です。 必ずinput_format_allow_errors_num と組み合わせて使用してください。
行の読み取り中にエラーが発生しても、エラーカウンターが input_format_allow_errors_ratio 未満であれば、ClickHouse はその行を無視して次の行へ進みます。
input_format_allow_errors_num と input_format_allow_errors_ratio の両方を超えた場合、ClickHouse は例外をスローします。
input_format_allow_seeks
ORC、Parquet、Arrow の入力フォーマットの読み取り時に、seek (または範囲読み取り) を許可します。 有効にすると、かつ読み取り元がこれをサポートしている場合 (例: ローカルファイル、S3、範囲指定をサポートしサイズが既知の HTTP) 、 ClickHouse は必要なバイト範囲だけを読み取り、メモリ使用量を抑えることができます。 無効な場合、または読み取り元が seek をサポートしていない場合 (例: ファイルサイズが不明、または stream が seek できない場合) 、 一部のリーダーはファイル全体をメモリに読み込む動作にフォールバックすることがあります。 デフォルトで有効です。input_format_arrow_allow_missing_columns
Arrow 入力フォーマットの読み取り時に、欠落しているカラムを許可しますinput_format_arrow_case_insensitive_column_matching
ArrowカラムとCH columnsの照合時に、大文字と小文字を区別しません。input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference
Arrowフォーマットのスキーマ推論時に、未対応の型のカラムをスキップしますinput_format_avro_allow_missing_fields
Avro/AvroConfluent フォーマットでは、フィールドがスキーマ内に見つからない場合、エラーではなくデフォルト値を使用しますinput_format_avro_null_as_default
Avro/AvroConfluent フォーマット: NULL かつ非 Nullable カラムの場合、デフォルト値を挿入しますinput_format_binary_decode_types_in_binary_format
RowBinaryWithNamesAndTypes 入力フォーマットで、型名ではなくデータ型をバイナリ形式で読み取りますinput_format_binary_max_type_complexity
バイナリ型のデコード時における型ノードの最大数 (深さではなく、総数) 。Map(String, UInt32) = 3 ノード。悪意のある入力を防ぎます。0 = 無制限。
input_format_binary_read_json_as_string
RowBinary入力フォーマットで、JSON データ型の値を JSON String 値として読み取ります。input_format_bson_skip_fields_with_unsupported_types_in_schema_inference
BSONフォーマットのスキーマ推論時に、未対応の型を持つフィールドをスキップします。input_format_capn_proto_skip_fields_with_unsupported_types_in_schema_inference
CapnProtoフォーマットのスキーマ推論時に、サポートされていない型のカラムをスキップしますinput_format_column_name_matching_mode
さまざまなフォーマット (JSONEachRow、CSVWithNames、JSONColumns、BSONEachRow、RowBinaryWithNames など) でデータを取り込む際のカラム名の照合モードを定義します。 サポートされるモードは次のとおりです。- match_case: 大文字・小文字を区別して照合
- ignore_case: 大文字・小文字を区別せずに照合
- auto: まず大文字・小文字を区別して照合を試み、失敗した場合は大文字・小文字を区別しない照合を試みます。
input_format_connection_handling
このオプションを有効にすると、接続が予期せず切断された場合でも、バッファ内に残っているデータはエラーとして扱われず、パースおよび処理されますこのオプションを有効にすると、並列パースが無効になり、重複排除はできなくなります
input_format_csv_allow_cr_end_of_line
これを true に設定すると、後続に \n が続かない行末の \r が許可されますinput_format_csv_allow_variable_number_of_columns
CSV入力で余分なカラムを無視し (ファイルのカラム数が想定より多い場合) 、CSV入力で欠落しているフィールドはデフォルト値として扱いますinput_format_csv_allow_whitespace_or_tab_as_delimiter
CSV文字列で、スペースおよびタブ(\t)をフィールド区切り文字として使用できるようにしますinput_format_csv_arrays_as_nested_csv
CSV から Array を読み取る際、要素はネストされた CSV としてシリアライズされたうえで文字列に格納されているものとして扱います。例: ”[""Hello"", ""world"", ""42"""" TV""]“。配列を囲む角括弧は省略できます。input_format_csv_deserialize_separate_columns_into_tuple
true に設定すると、CSVフォーマットで記述された個別のカラムを Tuple カラムにデシリアライズできます。 これは単体のTuple にのみ適用されます。Nullable(Tuple) は常に単一の CSV フィールドとして書き込まれ (output_format_csv_serialize_tuple_into_separate_columns を参照) 、同様に単一のフィールドからのみ読み戻されます。この設定にかかわらず、個別のカラムから読み取られることはありません。先頭の \N フィールドが曖昧になるため、Nullable(Tuple) では個別カラムからのパースはサポートされません (タプル全体の外側の NULL を表す場合もあれば、最初の要素の NULL を表す場合もあるためです) 。
単体の Tuple では各要素が 1 つのフィールドを占めるため、直接の最上位要素のフィールドにある \N はカラム全体ではなくその要素を表します。したがって、input_format_null_as_default はその要素に適用されます。タプル全体に単一のフィールドを指定する行は、残りの要素が不足しているため、カラムのデフォルト値を使用するのではなく拒否されます。このようなフィールドを再びカラム全体として読み取るには、この設定を 0 にします。ネストされた Tuple の要素のフィールドにある \N は、引き続きそのネストされた要素全体として読み取られます。
input_format_csv_detect_header
CSVフォーマットの名前と型を含むヘッダーを自動的に検出しますinput_format_csv_empty_as_default
CSV入力内の空のフィールドはデフォルト値として扱います。input_format_csv_enum_as_number
CSVフォーマットで挿入される enum 値を enum インデックスとして扱いますinput_format_csv_missing_nullable_as_empty_string
CSV でNullable(String) の欠損値をどのように読み取るかを制御します。欠損値とは、引用符で囲まれていない、カンマの間・前・後にある空の項目のことです。この設定を有効にすると、input_format_csv_empty_as_default の値にかかわらず、Nullable(String) の欠損値は NULL ではなく空の String として解釈されます。
input_format_csv_skip_first_lines
CSVフォーマットのデータ先頭で、指定した行数をスキップしますinput_format_csv_skip_trailing_empty_lines
CSVフォーマットの末尾にある空行をスキップしますinput_format_csv_trim_whitespaces
CSV文字列の先頭と末尾にあるスペースおよびタブ文字 (\t) を削除しますinput_format_csv_try_infer_numbers_from_strings
有効にすると、スキーマ推論時に ClickHouse は文字列フィールドから数値を推論します。 CSV データに引用符で囲まれた UInt64 の数値が含まれている場合に役立ちます。 既定では無効です。input_format_csv_try_infer_strings_from_quoted_tuples
入力データ内の引用符で囲まれた Tuple を、String 型の値として解釈します。input_format_csv_use_best_effort_in_schema_inference
CSVフォーマットでのスキーマ推論に、いくつかの調整とヒューリスティックを使用しますinput_format_csv_use_default_on_bad_values
不正な値が原因でCSVフィールドのデシリアライゼーションに失敗した場合に、カラムにデフォルト値を設定できるようにしますinput_format_custom_allow_variable_number_of_columns
CustomSeparated 入力で余分なカラム (ファイルのカラム数が想定より多い場合) を無視し、CustomSeparated 入力で不足しているフィールドはデフォルト値として扱いますinput_format_custom_detect_header
CustomSeparated フォーマットの名前と型を含むヘッダーを自動的に検出しますinput_format_custom_skip_trailing_empty_lines
CustomSeparated フォーマットの末尾にある空行をスキップしますinput_format_defaults_for_omitted_fields
INSERT クエリの実行時に、省略された入力カラムの値を、対応するカラムのデフォルト値に置き換えます。このオプションは、JSONEachRow (およびその他の JSON フォーマット) 、CSV、TabSeparated、TSKV、Parquet、Arrow、Avro、ORC、Native フォーマット、および WithNames/WithNamesAndTypes 接尾辞を持つフォーマットに適用されます。
このオプションを有効にすると、拡張テーブルのメタデータがサーバーからクライアントに送信されます。これにより、サーバーで追加の計算リソースが消費され、パフォーマンスが低下する可能性があります。
- 0 — 無効。
- 1 — 有効。
input_format_force_null_for_omitted_fields
省略されたフィールドを強制的に NULL 値で初期化しますinput_format_geojson_unsupported_geometry_handling
GeoJSON 入力の読み込み時に、ClickHouse の Geometry 型で表現できない有効な GeoJSON のジオメトリ型 (GeometryCollection など) を geometry カラムに格納する必要がある場合の動作を制御します。
設定可能な値:
'throw'(デフォルト) — 例外をスローします。'null'—geometryカラムにNULL値を挿入し、パースを続行します。
geometry カラムが materialized されている場合にのみ適用されます。要求された出力カラムでない場合、そのようなジオメトリは形式の妥当性のみ検証され、この処理はトリガーされません。
input_format_hive_text_allow_variable_number_of_columns
Hive Text の入力時に余分なカラムを無視し (ファイルのカラム数が想定より多い場合) 、Hive Text の入力時に欠落しているフィールドをデフォルト値として扱いますinput_format_hive_text_collection_items_delimiter
Hive テキストファイルでのコレクション (array または map) の項目間の区切り文字input_format_hive_text_fields_delimiter
Hive テキストファイルにおけるフィールド間の区切り文字input_format_hive_text_map_keys_delimiter
Hive テキストファイルにおける map のキーと値のペア間の区切り文字input_format_import_nested_json
ネストされたオブジェクトを含む JSON データの挿入を有効または無効にします。 対応フォーマット: 設定可能な値:- 0 — 無効。
- 1 — 有効。
JSONEachRowフォーマットでの Nested 構造の使用。
input_format_ipv4_default_on_conversion_error
IPv4 のデシリアライゼーションでは、変換エラーが発生した場合、例外をスローする代わりにデフォルト値を使用します。 デフォルトでは無効です。input_format_ipv6_default_on_conversion_error
IPv6 のデシリアライゼーションでは、変換エラー時に例外をスローする代わりに、デフォルト値が使用されます。 デフォルトでは無効です。input_format_json_compact_allow_variable_number_of_columns
JSONCompact/JSONCompactEachRow 入力フォーマットの行で、カラム数が可変であることを許可します。 想定より多くのカラムを含む行では余分なカラムを無視し、不足しているカラムはデフォルト値として扱います。 デフォルトでは無効です。input_format_json_defaults_for_missing_elements_in_named_tuple
名前付きタプル のパース時に、JSON オブジェクト内で欠落している要素にデフォルト値を挿入します。 この設定は、input_format_json_named_tuples_as_objects 設定が有効な場合にのみ機能します。
デフォルトで有効です。
input_format_json_empty_as_default
有効にすると、JSON 入力内の空フィールドをデフォルト値に置き換えます。複雑なデフォルト式を使用する場合は、input_format_defaults_for_omitted_fields も有効にする必要があります。
設定可能な値:
- 0 — 無効。
- 1 — 有効。
input_format_json_ignore_unknown_keys_in_named_tuple
名前付きタプル内の JSON オブジェクトで、不明なキーを無視します。 デフォルトで有効です。input_format_json_ignore_unnecessary_fields
不要なフィールドは無視し、パースしません。これを有効にすると、無効な形式の JSON 文字列や重複したフィールドを含む JSON 文字列でも例外がスローされない場合がありますinput_format_json_infer_array_of_dynamic_from_array_of_different_types
有効な場合、スキーマ推論時に、ClickHouse は値のデータ型が異なる JSON 配列に Array(Dynamic) 型を使用します。 例:input_format_json_infer_incomplete_types_as_strings
スキーマ推論時に、データサンプル内でNull/{}/[] のみを含む JSON キーに対して String 型を使用できるようにします。
JSON フォーマットでは任意の値を String として読み取れるため、型が不明なキーに String 型を使うことで、スキーマ推論時に Cannot determine type for column 'column_name' by first 25000 rows of data, most likely this column contains only Nulls or empty Arrays/Maps のようなエラーを回避できます。
例:
input_format_json_map_as_array_of_tuples
Map型のカラムを、タプルのJSON配列としてデシリアライズします。 デフォルトでは無効です。input_format_json_max_depth
JSON 内のフィールドの最大深度です。これは厳密な上限ではないため、必ずしも正確に適用されるわけではありません。input_format_json_max_object_size
単一の JSON オブジェクトに許容される最大サイズ (バイト単位) 。この制限を超えるオブジェクトは、形式が不正である可能性が高いとして拒否されます。これにより、不正な JSON ドキュメントが単一のオブジェクトとしてパースされた際のメモリ枯渇を防ぎます。この制限は、並列パースと非並列パースの両方に適用されます。チェックを無効にするには、0 に設定します。input_format_json_max_string_column_growth_step
文字列から JSON をパースする際に JSON カラムの内部 String バッファを構築するとき、2 のべき乗による増加をこのバイト数で上限にします。予約済みサイズがこの値に達すると、バッファは倍増する代わりにこのサイズ単位で増加します。これにより、大きな JSON カラムでの過剰な割り当てを抑制します。0 は無制限 (常に倍増) を意味します。input_format_json_named_tuples_as_objects
名前付きタプルのカラムを JSON オブジェクトとしてパースします。 デフォルトで有効です。input_format_json_read_arrays_as_strings
JSON 入力フォーマットで、JSON 配列を文字列としてパースできるようにします。 例:input_format_json_read_bools_as_numbers
JSON入力フォーマットで、bool を数値としてパースできるようにします。 既定で有効です。input_format_json_read_bools_as_strings
JSON 入力フォーマットで、bool 値を文字列としてパースすることを許可します。 デフォルトで有効です。input_format_json_read_numbers_as_strings
JSON 入力フォーマットで、数値を文字列としてパースできるようにします。 デフォルトで有効です。input_format_json_read_objects_as_strings
JSON 入力フォーマット で JSON オブジェクトを文字列としてパースできるようにします。 例:input_format_json_throw_on_bad_escape_sequence
JSON入力フォーマットで、JSON文字列に不正なエスケープシーケンスが含まれている場合は例外を発生させます。無効にすると、不正なエスケープシーケンスはデータ内にそのまま残ります。 デフォルトで有効です。input_format_json_try_infer_named_tuples_from_objects
有効にすると、スキーマ推論時に ClickHouse は JSON オブジェクトから named Tuple を推論します。 生成される named Tuple には、サンプルデータ内の対応するすべての JSON オブジェクトに含まれる全要素が含まれます。 例:input_format_json_try_infer_numbers_from_strings
有効にすると、スキーマ推論時に ClickHouse は文字列フィールドから数値を推論しようとします。 これは、JSON データに引用符で囲まれた UInt64 の数値が含まれている場合に役立ちます。 デフォルトでは無効です。input_format_json_use_string_type_for_ambiguous_paths_in_named_tuples_inference_from_objects
JSON オブジェクトから named tuple を推論する際、あいまいなパスでは例外の代わりに String 型を使用しますinput_format_json_validate_types_from_metadata
JSON/JSONCompact/JSONColumnsWithMetadata の入力フォーマットでは、この設定が 1 に設定されている場合、 入力データ内のメタデータに含まれる型が、テーブル内の対応するカラムの型と比較されます。 デフォルトで有効です。input_format_max_block_size_bytes
入力フォーマットでデータをパースする際に生成されるブロックのサイズを、バイト単位で制限します。これは、ブロックが ClickHouse 側で生成される行ベースの入力フォーマットで使用されます。 0 は、バイト数の制限がないことを意味します。input_format_max_block_wait_ms
行ベースの入力フォーマットで、パース中にブロックを出力するまでの最大待機時間をミリ秒単位で制限します。0 は制限なしを意味します。このオプションは、
input_format_connection_handling が有効な場合にのみ機能します。値を設定すると、並列パースも無効になり、重複排除もできなくなります。ストリーミング挿入では、
min_insert_block_size_rows=0 と min_insert_block_size_bytes=0 も設定する必要があります。そうしないと、パース済みのブロックがそれらの閾値に達するまで、ブロックをまとめる段階でメモリ内に蓄積され続け、適時に挿入されなくなる可能性があります。input_format_max_bytes_to_read_for_schema_inference
自動スキーマ推論のために読み取るデータの最大バイト数。input_format_max_rows_to_read_for_schema_inference
自動スキーマ推論のために読み取るデータの最大行数です。input_format_msgpack_number_of_columns
挿入される MsgPack データのカラム数です。データからの自動スキーマ推論に使用されます。input_format_mysql_dump_map_column_names
MySQL dump 内のテーブルのカラム名と ClickHouse テーブルのカラム名を照合しますinput_format_mysql_dump_table_name
データの読み取り元となる MySQL dump 内のテーブル名input_format_native_allow_types_conversion
Native入力フォーマットでのデータ型変換を許可しますinput_format_native_decode_types_in_binary_format
Native入力フォーマット で、型名の代わりにデータ型をバイナリ形式で読み取りますinput_format_null_as_default
これらのフィールドのデータ型が Nullable でない場合に、NULL フィールドをデフォルト値で初期化するかどうかを切り替えます。 カラム型が Nullable でなく、この設定が無効な場合、NULL を挿入すると例外が発生します。カラム型が Nullable の場合は、この設定に関係なく、NULL 値はそのまま挿入されます。
この設定は、ほとんどの入力フォーマットに適用されます。
複雑なデフォルト式を使用する場合は、input_format_defaults_for_omitted_fields も有効にする必要があります。
設定可能な値:
- 0 — Nullable でないカラムに
NULLを挿入すると例外が発生します。 - 1 —
NULLフィールドはカラムのデフォルト値で初期化されます。
input_format_orc_allow_missing_columns
ORC入力フォーマットの読み取り時に欠落カラムを許可しますinput_format_orc_case_insensitive_column_matching
ORC カラムと CH カラムの照合時に、大文字と小文字を区別しません。input_format_orc_dictionary_as_low_cardinality
ORCファイルの読み取り時に、ORCで辞書エンコードされたカラムをLowCardinalityカラムとして扱います。input_format_orc_filter_push_down
ORCファイルの読み取り時に、ORCのメタデータ内のWHERE/PREWHERE式、min/max統計、または ブルームフィルタ に基づいて、ストライプ全体または行グループ全体をスキップします。input_format_orc_reader_time_zone_name
ORC の行リーダーで使用するタイムゾーン名です。デフォルトのタイムゾーンは GMT です。input_format_orc_row_batch_size
ORCストライプを読み込む際のバッチサイズ。input_format_orc_skip_columns_with_unsupported_types_in_schema_inference
ORC フォーマットのスキーマ推論時に、サポートされていない型のカラムをスキップしますinput_format_parallel_parsing
データフォーマットの順序を保持した並列パースを有効または無効にします。TabSeparated (TSV)、TSKV、CSV、JSONEachRow フォーマットでのみサポートされます。 設定可能な値:- 1 — 有効。
- 0 — 無効。
input_format_parquet_allow_geoparquet_parser
geoカラムパーサーを使用して、Array(UInt8) を Point/MultiPoint/Linestring/Polygon/MultiLineString/MultiPolygon 型に変換しますinput_format_parquet_allow_missing_columns
Parquet 入力フォーマットの読み取り時に欠落したカラムを許可しますinput_format_parquet_bloom_filter_push_down
Parquetファイルの読み取り時に、Parquet メタデータ内の WHERE 式と ブルームフィルタ に基づいて、行グループ全体をスキップします。input_format_parquet_case_insensitive_column_matching
Parquet のカラムを CH のカラムと照合する際に、大文字と小文字を区別しません。input_format_parquet_dictionary_filter_push_down
Parquet ファイルを読み取る際 (reader v3) 、カラム chunk のすべてのデータページが辞書エンコードされている場合、WHERE/PREWHERE 式と辞書ページの内容に基づいて行グループ全体をスキップします。この値は、この最適化が適用される辞書ページの最大サイズ (バイト単位) です。無効にするには 0 を設定します。ブルームフィルタ と両方を利用できる場合は、こちらが優先されます。input_format_parquet_enable_json_parsing
Parquet ファイルを読み取る際、JSON カラムを ClickHouse の JSON カラムとしてパースします。input_format_parquet_enable_row_group_prefetch
Parquet のパース時に行グループのプリフェッチを有効にします。現在、プリフェッチに対応しているのはシングルスレッドのパースのみです。input_format_parquet_filter_push_down
Parquetファイルの読み込み時に、Parquetメタデータ内のWHERE/PREWHERE式と最小値/最大値の統計情報に基づいて、行グループ全体をスキップします。input_format_parquet_local_file_min_bytes_for_seek
Parquet入力フォーマットで、読み飛ばしながら読み取る代わりにseekを行うために必要な、ローカル読み取り (file) の最小バイト数input_format_parquet_local_time_as_utc
isAdjustedToUTC=false の Parquet timestamp に対して、スキーマ推論で使用するデータ型を決定します。true の場合は DateTime64(…, ‘UTC’)、false の場合は DateTime64(…) です。ClickHouse にはローカルの wall-clock time を表すデータ型がないため、どちらの動作も完全に正しいわけではありません。直感に反しますが、おそらく ‘true’ のほうがまだ誤りの少ない選択肢です。これは、‘UTC’ timestamp を String としてフォーマットすると、正しいローカル時刻の表現になるためです。input_format_parquet_max_block_size
Parquet リーダーの最大ブロックサイズです。input_format_parquet_memory_high_watermark
Parquet リーダー v3 のおおよそのメモリ制限です。並列に読み取ることができる行グループまたはカラムの数を制限します。1 つのクエリで複数のファイルを読み取る場合、この制限はそれらのファイル全体での総メモリ使用量に適用されます。input_format_parquet_memory_low_watermark
メモリ使用量がしきい値を下回っている場合、より積極的にプリフェッチをスケジュールします。ネットワーク越しに読み取る小さなブルームフィルタが多数ある場合などに役立つ可能性があります。input_format_parquet_page_filter_push_down
カラム索引の最小値/最大値を使用してページをスキップします。input_format_parquet_prefer_block_bytes
Parquet リーダーが出力する平均ブロックサイズ (バイト)input_format_parquet_preserve_order
Parquet ファイルの読み取り時に行を並べ替えないようにします。通常、行順は保証されず、クエリパイプラインの他の部分で順序が崩れる可能性もあるため、推奨されません。代わりにORDER BY _row_number を使用してください。
input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference
Parquetフォーマットのスキーマ推論時に、サポートされていない型のカラムをスキップしますinput_format_parquet_spatial_filter_push_down
GeoParquetファイルの読み取り時に、WHERE句内の空間プレディケートとParquetメタデータ内のジオメトリのバウンディングボックス統計 (geospatial_statistics.bboxまたはcovering.bboxカラム) に基づき、行グループ全体をスキップします。また、input_format_parquet_page_filter_push_downと組み合わせることで、個々のページもスキップします。
input_format_parquet_use_offset_index
ページフィルタリングを使用しない場合のParquetファイルからのページ読み取り方法に関する軽微な調整。input_format_parquet_verify_checksums
Parquetファイルの読み取り時にページのチェックサムを検証します。input_format_protobuf_flatten_google_wrappers
通常の非ネスト カラムに対して Google wrapper を有効にします。たとえば、String カラム ‘str’ に対する google.protobuf.StringValue ‘str’ です。Nullable カラムでは、空の wrapper はデフォルト値として認識され、存在しないものは null として認識されますinput_format_protobuf_oneof_presence
特別なカラムに enum 値を設定して、protobuf の oneof でどのフィールドが見つかったかを示しますinput_format_protobuf_skip_fields_with_unsupported_types_in_schema_inference
Protobufフォーマットのスキーマ推論時に、サポートされていない型のフィールドをスキップしますinput_format_read_datetime_number_as_raw_value
DateTime/DateTime64 カラムの引用符なし整数を、秒単位の Unix timestamp ではなく、生の内部値 (DateTime では秒、
DateTime64 ではカラムの精度における tick) として読み取ります。
デフォルトでは無効です。引用符なし数値は、オプションの秒未満精度を含む秒単位の Unix timestamp として扱われ、
Values フォーマット、CAST、toDateTime64 と同様です。これを有効にする (または SET compatibility = '26.7' を設定する) と、
DateTime64 カラムに渡された引用符なし整数が生のスケーリング済み値 (tick) として解釈されていた、26.7 以前のバージョンの
動作を復元できます。レガシーパスで受け入れられるのは、このような引用符なし整数のみです。
この設定を有効にすると、小数部または指数部を含む数値は行入力パスで拒否されます
(26.8 より前と同様) 。一方、JSONExtract と型付き JSON 型では、小数は引き続き
DateTime64 では秒として読み取られ、DateTime では拒否されます (これも 26.8 より前と同様です) 。Values フォーマット自体では、
ストリーミングパーサーが拒否した数値は SQL 式評価にフォールバックし、秒として読み取られます。
これは 26.8 より前でも、この設定を有効にした場合でも同じです。そのため、小数を含む数値に対する Values の動作は
すべての構成で同一です。
この設定が適用されるのは、JSON、Values/Quoted、および JSONExtract/型付き JSON のパスのみです (Quoted パスは、
Quoted エスケープ規則でフィールドをパースするすべてのフォーマットを対象とします: Values、MySQLDump、および
Quoted フィールドエスケープを設定した Template/CustomSeparated/Regexp) 。タブ区切り、CSV、その他の
エスケープ済み/テキスト全体を扱うフォーマットは影響を受けません。これらでは、大きな引用符なしの DateTime64 数値は引き続き tick として読み取られます。
input_format_record_errors_file_path
テキストフォーマット (CSV、TSV) の読み取り中に発生したエラーを記録するために使用するファイルのパス。input_format_skip_unknown_fields
余分なデータの挿入をスキップする機能を有効または無効にします。 データの書き込み時に、入力データにターゲットテーブルに存在しないカラムが含まれている場合、ClickHouse は例外をスローします。スキップを有効にすると、ClickHouse は余分なデータを挿入せず、例外もスローしません。 対応フォーマット:- JSONEachRow (およびその他の JSON フォーマット)
- BSONEachRow (およびその他の JSON フォーマット)
- TSKV
- WithNames/WithNamesAndTypes の接尾辞を持つすべてのフォーマット
- MySQLDump
- Native
- 0 — 無効。
- 1 — 有効。
input_format_try_infer_dates
有効にすると、ClickHouse はテキストフォーマットのスキーマ推論で、文字列フィールドから型Date を推論しようとします。入力データ内のあるカラムのすべてのフィールドが日付として正常に解析された場合、結果の型は Date になります。少なくとも 1 つのフィールドが日付として解析されなかった場合、結果の型は String になります。
デフォルトで有効です。
input_format_try_infer_datetimes
有効な場合、ClickHouse はテキストフォーマットのスキーマ推論で、文字列フィールドからDateTime64 型を推論しようとします。入力データ内のあるカラムのすべてのフィールドを日時として正常に解析できた場合、結果の型は DateTime64 になります。1 つでも日時として解析できないフィールドがある場合、結果の型は String になります。
デフォルトで有効です。
input_format_try_infer_datetimes_only_datetime64
input_format_try_infer_datetimes が有効な場合、DateTime 型は推論せず、DateTime64 のみを推論しますinput_format_try_infer_exponent_floats
テキストフォーマットでスキーマ推論を行う際に、指数表記の浮動小数点数も推論するよう試みます (JSON を除く。JSON では指数表記の数値は常に推論されます)input_format_try_infer_integers
有効な場合、ClickHouse はテキストフォーマットのスキーマ推論で、浮動小数点数ではなく整数として推論を試みます。入力データのそのカラム内の数値がすべて整数であれば、結果の型はInt64 になります。少なくとも 1 つが浮動小数点数であれば、結果の型は Float64 になります。
デフォルトで有効です。
input_format_try_infer_variants
有効にすると、ClickHouse は、カラム/Array の要素に複数の型候補がある場合、テキストフォーマットのスキーマ推論でVariant 型の推論を試みます。
設定可能な値:
- 0 — 無効。
- 1 — 有効。
input_format_tsv_allow_variable_number_of_columns
TSV入力で余分なカラム (ファイルのカラム数が想定より多い場合) を無視し、欠落しているフィールドはデフォルト値として扱いますinput_format_tsv_crlf_end_of_line
true に設定すると、file 関数は \n ではなく \r\n を行末とする TSV フォーマットを読み取ります。input_format_tsv_detect_header
TSVフォーマットの名前と型を含むヘッダーを自動的に検出しますinput_format_tsv_empty_as_default
TSV入力内の空のフィールドをデフォルト値として扱います。input_format_tsv_enum_as_number
TSVフォーマットで挿入されるenum値を、enumのインデックスとして扱います。input_format_tsv_skip_first_lines
TSVフォーマットのデータ先頭で、指定した行数をスキップしますinput_format_tsv_skip_trailing_empty_lines
TSVフォーマットの末尾にある空行をスキップしますinput_format_tsv_use_best_effort_in_schema_inference
TSVフォーマットでのスキーマ推論に、いくつかの調整とヒューリスティックを使用しますinput_format_values_accurate_types_of_literals
Values フォーマットの場合: テンプレートを使用して式をパースおよび解釈する際は、オーバーフローや精度の問題を回避するため、リテラルの実際の型を確認します。input_format_values_deduce_templates_of_expressions
Values フォーマットでは、フィールドをストリーミングパーサーでパースできない場合、SQL パーサーを実行して SQL 式のテンプレートを推定し、そのテンプレートを使ってすべての行のパースを試みたうえで、すべての行について式を解釈します。input_format_values_interpret_expressions
Valuesフォーマットでは、フィールドをストリーミングパーサーで解析できない場合、SQLパーサーを実行し、SQL式として解釈を試みます。input_format_with_names_use_header
データ挿入時に、カラムの順序をチェックするかどうかを有効または無効にします。 insert のパフォーマンスを向上させるには、入力データのカラム順序がターゲットテーブルと同じであることが確実な場合、このチェックを無効にすることを推奨します。 対応フォーマット:- CSVWithNames
- CSVWithNamesAndTypes
- TabSeparatedWithNames
- TabSeparatedWithNamesAndTypes
- JSONCompactEachRowWithNames
- JSONCompactEachRowWithNamesAndTypes
- JSONCompactStringsEachRowWithNames
- JSONCompactStringsEachRowWithNamesAndTypes
- RowBinaryWithNames
- RowBinaryWithNamesAndTypes
- CustomSeparatedWithNames
- CustomSeparatedWithNamesAndTypes
- 0 — 無効。
- 1 — 有効。
input_format_with_types_use_header
フォーマットパーサーが、入力データのデータ型とターゲットテーブルのデータ型が一致しているかどうかを確認するかを制御します。 対応フォーマット:- CSVWithNamesAndTypes
- TabSeparatedWithNamesAndTypes
- JSONCompactEachRowWithNamesAndTypes
- JSONCompactStringsEachRowWithNamesAndTypes
- RowBinaryWithNamesAndTypes
- CustomSeparatedWithNamesAndTypes
- 0 — 無効。
- 1 — 有効。