s3_base
Базовый URL для разрешения относительных URL в табличной функции s3 и движке таблицы S3, а также в табличных функциях, использующих ту же конфигурацию (s3Cluster, gcs, oss).
Если настройка задана, URL без схемы разрешается относительно s3_base в соответствии с RFC 3986 по тем же правилам, что и url_base. URL, уже содержащие схему, используются без изменений.
Например, если s3_base имеет значение s3://clickhouse-public-datasets/, то s3('hits_compatible/hits.csv') читает данные из s3://clickhouse-public-datasets/hits_compatible/hits.csv.
Базовый URL может быть задан в любом формате, поддерживаемом табличной функцией s3, например s3://bucket/, https://bucket.s3.amazonaws.com/ или https://endpoint/bucket/.
s3_check_objects_after_upload
Проверять каждый объект, загруженный в S3, с помощью запроса head, чтобы убедиться, что загрузка выполнена успешноs3_connect_timeout_ms
Тайм-аут подключения к хосту, используемому S3-дисками.s3_create_new_file_on_insert
Включает или отключает создание нового файла при каждой вставке в таблицы с движком S3. Если параметр включен, при каждой вставке будет создаваться новый объект S3 с ключом по следующему шаблону: исходно:data.Parquet.gz -> data.1.Parquet.gz -> data.2.Parquet.gz и т. д.
Возможные значения:
- 0 — запрос
INSERTсоздает новый файл или завершается ошибкой, если файл уже существует и параметр s3_truncate_on_insert не задан. - 1 — запрос
INSERTсоздает новый файл при каждой вставке, используя суффикс (начиная со второго файла), если параметр s3_truncate_on_insert не задан.
s3_ignore_file_doesnt_exist
Игнорирует отсутствие файла при чтении определённых ключей, если файл не существует. Возможные значения:- 1 —
SELECTвозвращает пустой результат. - 0 —
SELECTгенерирует исключение.
s3_list_object_keys_size
Максимальное количество файлов, которое запрос ListObject может вернуть в одном батчеs3_min_upload_part_size
Минимальный размер части, загружаемой при multipart-загрузке в S3.s3_path_filter_limit
Максимальное количество значений_path, которые можно извлечь из фильтров запроса, чтобы использовать их при переборе файлов
вместо перечисления через glob. 0 означает, что параметр отключён.
s3_request_timeout_ms
Тайм-аут простоя при отправке и получении данных в/из S3. Операция завершается с ошибкой, если один вызов TCP на чтение или запись блокируется на это время.s3_skip_empty_files
Включает или отключает пропуск пустых файлов в таблицах с движком S3. Возможные значения:- 0 —
SELECTгенерирует исключение, если пустой файл несовместим с запрошенным форматом. - 1 —
SELECTвозвращает пустой результат для пустого файла.
s3_slow_all_threads_after_network_error
Если установлено значениеtrue, все потоки, выполняющие S3-запросы к одной и той же конечной точке резервной копии, замедляются
после того, как в любом отдельном S3-запросе возникает сетевая ошибка, допускающая повторную попытку, например тайм-аут сокета.
Если установлено значение false, каждый поток обрабатывает задержку S3-запросов независимо от остальных.
s3_strict_upload_part_size
Точный размер части, загружаемой при multipart-загрузке в S3 (некоторые реализации не поддерживают части переменного размера).s3_throw_on_zero_files_match
Сгенерировать исключение, если запрос ListObjects не находит ни одного подходящего файлаs3_truncate_on_insert
Включает или отключает усечение перед вставкой в таблицы с движком S3. Если параметр отключён, при попытке вставки будет сгенерировано исключение, если объект S3 уже существует. Возможные значения:- 0 — запрос
INSERTсоздаёт новый файл или завершается ошибкой, если файл уже существует и параметрs3_create_new_file_on_insertне задан. - 1 — запрос
INSERTзаменяет существующее содержимое файла новыми данными.
s3_uri_style
Принудительно задаёт стиль адресации для конечной точки S3. Возможные значения: auto, virtual_hosted, path.s3_use_adaptive_timeouts
Если установлено значениеtrue, то для всех запросов к S3 первые две попытки выполняются с короткими тайм-аутами отправки и получения.
Если установлено значение false, то все попытки выполняются с одинаковыми тайм-аутами.