Comparar tipos de tabelas

Escolher a arquitetura de tabela certa é fundamental para maximizar a performance, reduzir custos e garantir o acesso a dados nas ferramentas de análise. Nesta página, explicamos os diferentes tipos de tabela e endpoints de exibição disponíveis no Lakehouse sem fronteiras, ajudando você a escolher a melhor opção com base nos mecanismos de gravação, nos requisitos de leitura e nas necessidades de controle de gerenciamento.

Formatos de tabela por catálogo ou mecanismo

Selecione um catálogo ou mecanismo para Aprenda Mais sobre os formatos de tabela compatíveis, a configuração do metastore, os recursos de otimização de armazenamento e a interoperabilidade do mecanismo.

Catálogo do ambiente de execução do Lakehouse

O catálogo do ambiente de execução do Lakehouse gerencia tabelas do Apache Iceberg por meio do endpoint do catálogo REST do Iceberg e oferece interoperabilidade de leitura e gravação contínua em mecanismos compatíveis com o Iceberg (Spark, Flink, Trino) e o BigQuery, com o apoio da interface do catálogo REST do Iceberg padrão do setor.

Formatos de tabela compatíveis

As tabelas do Apache Iceberg V2 (GA) e V3 (pré-lançamento) são compatíveis. As tabelas do Iceberg V1 não são compatíveis. Antes de usar tabelas V1 atuais com o Lakehouse, faça upgrade delas para uma versão compatível. Para mais informações, consulte Fazer upgrade de tabelas do Iceberg V1 para V2.

Os principais recursos incluem:

  • Metastore: catálogo do ambiente de execução do Lakehouse.
  • Armazenamento: Cloud Storage.
  • Otimização de armazenamento: gerenciada por você ou, opcionalmente, pelo Google (pré-lançamento).
  • Acesso de leitura e gravação:
    • Mecanismos de código aberto: leitura e gravação (GA)
    • BigQuery: leitura/gravação (pré-lançamento)
  • Casos de uso: Lakehouse aberto com armazenamento de alta performance e nível empresarial para análise avançada, streaming e IA.

Metastore Hive

O catálogo do ambiente de execução do Lakehouse gerencia tabelas do Apache Hive por um endpoint do metastore do Apache Hive (HMS, na sigla em inglês) otimizado para a compatibilidade do ExternalCatalog do Apache Spark, permitindo que você compartilhe dados de maneira contínua entre o Apache Spark, o Apache Hive e o BigQuery. Você cria essas tabelas em mecanismos de código aberto e as armazena no Cloud Storage. Essa opção é melhor se você quiser que o fluxo de trabalho de ETL seja gerenciado por mecanismos de código aberto sem precisar de um metastore Hive auto-hospedado separado e só exigir acesso de leitura do BigQuery.

As tabelas gerenciadas pelo endpoint do metastore Hive são tabelas padrão do Apache Hive e do Spark (usando fontes de dados do Hive SerDes ou do Spark), não tabelas do Apache Iceberg. Para criar e gerenciar tabelas do Apache Iceberg no catálogo do ambiente de execução do Lakehouse, use o endpoint do catálogo REST do Iceberg.

Os principais recursos incluem:

  • Metastore: catálogo do ambiente de execução do Lakehouse (pelo IMetastoreClient personalizado).
  • Armazenamento: Cloud Storage (com suporte a formatos como Parquet, ORC e Avro).
  • Otimização de armazenamento: gerenciada por você ou por terceiros.
  • Acesso de leitura e gravação:
    • Mecanismos de código aberto (Spark e Hive): leitura e gravação.
    • BigQuery: somente leitura.
  • Casos de uso: migração de cargas de trabalho atuais do Spark e do Hive para um metastore sem servidor totalmente gerenciado no Google Cloud.

Formatos de tabela por produto

Use o gráfico a seguir para comparar os tipos de tabela no catálogo do ambiente de execução do Lakehouse.

Lakehouse

Apache Iceberg (GA) Acesso a dados entre nuvens (pré-lançamento) Apache Hive (pré-lançamento)
Metastore Catálogo do ambiente de execução do Lakehouse Catálogo do ambiente de execução do Lakehouse Catálogo do ambiente de execução do Lakehouse
Armazenamento Cloud Storage Cloud Storage / Amazon S3 Cloud Storage
Otimização de armazenamento Gerenciado pelo cliente, por terceiros ou pelo Google (pré-lançamento) Gerenciado pelo cliente ou por terceiros Gerenciado pelo cliente ou por terceiros
Leitura/gravação Mecanismos de código aberto (leitura/gravação)

BigQuery (leitura/gravação [pré-lançamento])		 Mecanismos de código aberto (leitura)

BigQuery (leitura)		 Mecanismos de código aberto (leitura/gravação)

BigQuery (somente leitura)
Operações avançadas Nenhum Nenhum Nenhum
Controle de acesso Segurança no nível da tabela com o IAM Segurança no nível da tabela com o IAM Segurança no nível da tabela com o IAM
Casos de uso Lakehouse aberto Consulte dados em outros provedores de nuvem sem migrar arquivos ou criar pipelines de ETL complexos. Migre cargas de trabalho atuais do Spark e do Hive para um metastore sem servidor totalmente gerenciado,

Recursos da tabela do Iceberg

Use a tabela a seguir para saber mais sobre os recursos oferecidos nas tabelas do Apache Iceberg no catálogo do ambiente de execução do Lakehouse.

Capacidade Suporte
Catálogo Catálogo do ambiente de execução do Lakehouse (compatível com o catálogo REST do Iceberg)
Armazenamento Cloud Storage
Acessível pelo endpoint do catálogo REST do Iceberg Sim
Interoperabilidade de leitura/gravação
Consultas de leitura do BigQuery (SELECT, BQML, funções de IA) Com suporte (GA)
DML do BigQuery (INSERT, UPDATE, DELETE, MERGE) Com suporte (pré-lançamento)
Leituras do mecanismo de OSS Com suporte (GA)
Gravações do mecanismo de OSS Com suporte (GA)
Gravações de streaming do mecanismo de OSS (Kafka, Spark, Dataflow com coletor de E/S do Iceberg) Com suporte (GA)
Recursos gerenciados e avançados
Gerenciamento de tabelas (compactação, coleta de lixo) Com suporte (pré-lançamento)
Captura de dados alterados (CDC) do BigQuery Com suporte (pré-lançamento)
Viagem no tempo
Viagem no tempo (usando mecanismos de OSS) Flexível (configurado pelas propriedades da tabela)
Viagem no tempo (usando o BigQuery) Limitado a 7 dias
Histórico de snapshots e reversão para o snapshot anterior Com suporte (GA)
Recursos do Knowledge Catalog
Catalogação, pesquisa e descoberta de metadados Com suporte (GA)
Linhagem Com suporte (GA)
Qualidade/criação de perfis de dados Com suporte (GA)
Insights Com suporte (GA)
Geração de descrições de colunas e tabelas com base em IA Com suporte (GA)

A seguir