azureBlobStorageCluster

지정된 클러스터의 여러 노드를 사용해 Azure Blob Storage의 파일을 병렬로 처리할 수 있습니다. initiator 노드에서는 클러스터의 모든 노드에 대한 연결을 생성하고, S3 파일 경로의 별표(*)를 확장한 뒤 각 파일을 동적으로 분배합니다. worker 노드에서는 처리할 다음 작업을 initiator에 요청해 처리합니다. 이 과정은 모든 작업이 완료될 때까지 반복됩니다. 이 테이블 함수는 s3Cluster function과 유사합니다.

구문

azureBlobStorageCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression, structure])

인수

인수	설명
`cluster_name`	원격 및 로컬 server의 주소 집합과 연결 매개변수를 구성하는 데 사용되는 클러스터의 이름입니다.
`connection_string`	storage_account_url` — connection_string에는 계정 이름과 키가 포함됩니다(connection string 만들기). 또는 여기에서 스토리지 계정 URL을 제공하고, 계정 이름과 계정 키를 별도의 매개변수로 제공할 수도 있습니다(account_name 및 account_key 매개변수 참조).
`container_name`	Container 이름
`blobpath`	파일 경로입니다. readonly 모드에서는 다음 wildcards를 지원합니다: ``, `*`, `?`, `{abc,def}` 및 `{N..M}`. 여기서 `N`, `M`은 숫자이고 `'abc'`, `'def'`는 문자열입니다.
`account_name`	storage_account_url을 사용하는 경우 여기에서 계정 이름을 지정할 수 있습니다
`account_key`	storage_account_url을 사용하는 경우 여기에서 계정 키를 지정할 수 있습니다
`format`	파일의 포맷입니다.
`compression`	지원되는 값: `none`, `gzip/gz`, `deflate`, `brotli/br`, `xz/LZMA`, `zstd/zst`, `lz4`, `bz2`, `snappy`. 기본적으로 파일 확장자를 기준으로 압축을 자동 감지합니다. (`auto`로 설정한 것과 같습니다.) `snappy`의 경우 wire 형식은 snappy_mode 설정으로 선택됩니다(기본값은 `basic`).
`structure`	테이블 구조입니다. 포맷은 `'column1_name column1_type, column2_name column2_type, ...'`입니다.

반환 값

지정된 파일의 데이터를 읽거나 쓰기 위한 지정된 구조의 테이블입니다.

예시

AzureBlobStorage 테이블 엔진과 마찬가지로, 로컬에서 Azure Storage를 개발할 때 Azurite 에뮬레이터를 사용할 수 있습니다. 자세한 내용은 여기에서 확인하십시오. 아래에서는 Azurite가 호스트명 azurite1에서 사용 가능하다고 가정합니다. cluster_simple 클러스터의 모든 노드를 사용하여 파일 test_cluster_*.csv의 개수를 조회합니다:

SELECT count(*) FROM azureBlobStorageCluster(
        'cluster_simple', 'http://azurite1:10000/devstoreaccount1', 'testcontainer', 'test_cluster_count.csv', 'devstoreaccount1',
        'Eby8vdM02xNOcqFlqUwJPLlmEtlCDXJ1OUzFT50uSRZ6IFsuFq2UVErCz4I6tq/K1SZFPTOtr/KBHBeksoGMGw==', 'CSV',
        'auto', 'key UInt64')

공유 액세스 서명(SAS) 사용

예시는 azureBlobStorage를 참고하십시오.

SQL 참고

데이터 타입

엔진

함수

포맷

설정

시스템 테이블

데이터 레이크

구문

인수

반환 값

예시

공유 액세스 서명(SAS) 사용

관련

​구문

​인수

​반환 값

​예시

​공유 액세스 서명(SAS) 사용

​관련

구문

인수

반환 값

예시

공유 액세스 서명(SAS) 사용

관련