Skip to main content

​
Descrição

Formato especial para leitura de metadados de arquivo Parquet (https://parquet.apache.org/docs/file-format/metadata/). Ele sempre retorna uma linha com a seguinte estrutura/conteúdo:
  • num_columns - o número de colunas
  • “num_rows` - o número total de linhas
  • num_row_groups - o número total de grupos de linhas
  • format_version - versão do formato Parquet, sempre 1.0 ou 2.6
  • total_uncompressed_size - tamanho total, em bytes não comprimidos, dos dados, calculado como a soma de total_byte_size de todos os grupos de linhas
  • total_compressed_size - tamanho total, em bytes comprimidos, dos dados, calculado como a soma de total_compressed_size de todos os grupos de linhas
  • columns - a lista de metadados das colunas com a seguinte estrutura:
    • name - nome da coluna
    • path - caminho da coluna (difere do nome para coluna aninhada)
    • max_definition_level - nível máximo de definição
    • max_repetition_level - nível máximo de repetição
    • physical_type - tipo físico da coluna
    • logical_type - tipo lógico da coluna
    • compression - compressão usada para esta coluna
    • total_uncompressed_size - tamanho total, em bytes não comprimidos, da coluna, calculado como a soma de total_uncompressed_size da coluna em todos os grupos de linhas
    • total_compressed_size - tamanho total, em bytes comprimidos, da coluna, calculado como a soma de total_compressed_size da coluna em todos os grupos de linhas
    • space_saved - percentual de espaço economizado pela compressão, calculado como (1 - total_compressed_size/total_uncompressed_size).
    • encodings - a lista de codificações usadas para esta coluna
  • row_groups - a lista de metadados dos grupos de linhas com a seguinte estrutura:
    • num_columns - o número de colunas no grupo de linhas
    • num_rows - o número de linhas no grupo de linhas
    • total_uncompressed_size - tamanho total, em bytes não comprimidos, do grupo de linhas
    • total_compressed_size - tamanho total, em bytes comprimidos, do grupo de linhas
    • columns - a lista de metadados dos fragmentos de coluna com a seguinte estrutura:
      • name - nome da coluna
      • path - caminho da coluna
      • total_compressed_size - tamanho total, em bytes comprimidos, da coluna
      • total_uncompressed_size - tamanho total, em bytes não comprimidos, do grupo de linhas
      • have_statistics - flag booleana que indica se os metadados do fragmento de coluna contêm estatísticas da coluna
      • statistics - estatísticas do fragmento de coluna (todos os campos são NULL se have_statistics = false) com a seguinte estrutura:
        • num_values - o número de valores não nulos no fragmento de coluna
        • null_count - o número de valores NULL no fragmento de coluna
        • distinct_count - o número de valores distintos no fragmento de coluna
        • min - o valor mínimo do fragmento de coluna
        • max - o valor máximo do fragmento de coluna
      • have_size_statistics - flag booleana que indica se os metadados do fragmento de coluna contêm estatísticas de tamanho
      • size_statistics - estatísticas de tamanho do fragmento de coluna (todos os campos são NULL ou vazios se have_size_statistics = false) com a seguinte estrutura:
        • unencoded_byte_array_data_bytes - o tamanho total dos valores de array de bytes não codificados, conforme registrado no rodapé, NULL quando o gravador não o registrou
        • repetition_level_histogram - o número de valores em cada nível de repetição, conforme registrado no rodapé, vazio quando o gravador não o registrou
        • definition_level_histogram - o número de valores em cada nível de definição, conforme registrado no rodapé, vazio quando o gravador não o registrou

​
Exemplo de uso

Exemplo:
Última modificação em 26 de setembro de 2026