Como funciona o lakehouse sem fronteiras

O Lakehouse sem fronteiras permite que o BigQuery e os mecanismos de código aberto compartilhem as mesmas tabelas abertas centralizando os metadados no catálogo do ambiente de execução do Lakehouse. Entender a arquitetura, a hierarquia de recursos e o caminho de consulta ajuda a projetar catálogos, escolher tipos de tabela e conectar mecanismos. Para definições de termos individuais, consulte Conceitos importantes.

Arquitetura

A criação do Lakehouse do Google Cloud consiste nos seguintes componentes técnicos:

  • Armazenamento: o Cloud Storage e o armazenamento do BigQuery servem como a camada de armazenamento, com o Apache Iceberg como o formato de tabela aberta recomendado para armazenamento interoperável de alto desempenho no Cloud Storage. Com o Lakehouse sem fronteiras, seus dados não precisam residir no Google Cloud. Ao configurar conexões entre nuvens para catálogos remotos compatíveis, é possível manter seus dados em outros sistemas de armazenamento em nuvem, como o Amazon S3, e consultá-los sem migrar arquivos ou criar pipelines de ETL.

  • Catálogo: o catálogo do ambiente de execução do Lakehouse fornece uma única fonte de verdade para gerenciar metadados. Ele centraliza a descoberta de metadados em vários mecanismos usando várias opções de compatibilidade, como o endpoint do catálogo REST do Apache Iceberg e o endpoint do catálogo do Apache Hive. As tabelas que você registra no catálogo são registradas automaticamente no Knowledge Catalog.

  • Mecanismo de consulta: o BigQuery e os mecanismos de código aberto, incluindo Apache Spark, Apache Flink e Trino, interoperam perfeitamente ao se conectar ao catálogo do ambiente de execução do Lakehouse. Mecanismos de computação como o Serviço Gerenciado para Apache Spark usam o Apache Spark de código aberto com otimizações de execução para garantir a portabilidade da carga de trabalho e evitar a dependência de fornecedor.

  • Governança: o Knowledge Catalog oferece políticas centralizadas de segurança, linhagem e governança em todo o lakehouse.

  • Ferramentas de gravação e análise de dados: mecanismos e ferramentas integrados oferecem vários caminhos para ingestão e análise de dados, ajudando a garantir o acesso consistente aos dados para cientistas e analistas de dados.

Hierarquia de recursos

O Lakehouse do Google Cloud organiza os dados usando uma hierarquia que se alinha aos padrões do Apache Iceberg e aos conceitos de banco de dados padrão. Essa estrutura permite que o catálogo do ambiente de execução do Lakehouse mapeie identidades lógicas para caminhos de armazenamento físico. Para interagir com essa hierarquia de recursos e conectar seus mecanismos de consulta ao catálogo, use endpoints específicos, conforme descrito na lista a seguir.

  1. Catálogo do ambiente de execução do Lakehouse: o recurso de serviço regional de nível superior no Google Cloud que hospeda seus metadados. Para conectar mecanismos de consulta a esse serviço e gerenciar catálogos subjacentes, configure aplicativos cliente usando um endpoint de catálogo específico, como o endpoint de catálogo REST do Apache Iceberg.
  2. Catálogo: um contêiner lógico no serviço de catálogo do ambiente de execução. Na estrutura de nomenclatura Projeto/Catálogo/Namespace/Tabela (P.C.N.T), isso representa a instância de catálogo específica que você está consultando.
  3. Namespace: um grupo lógico de tabelas em um catálogo. Para usuários familiarizados com o BigQuery, um namespace é funcionalmente semelhante a um conjunto de dados.
  4. Tabela: a entidade específica que aponta para dados no Cloud Storage. Os metadados da tabela contêm o esquema, as informações de particionamento e um ponteiro para o estado atual da tabela por meio de um arquivo metadata.json do Apache Iceberg.

Pontos de extremidade compatíveis

O catálogo do ambiente de execução do Lakehouse fornece vários endpoints para conectar seus dados no Cloud Storage e no BigQuery.

  • Endpoint do catálogo REST do Apache Iceberg: fornece uma interface REST padrão para ampla compatibilidade com mecanismos de código aberto, como Apache Spark, Apache Flink e Trino. Essa é a interface recomendada para novas cargas de trabalho e oferece interoperabilidade total de leitura e gravação.

  • Catálogo personalizado do Apache Iceberg para o endpoint do BigQuery: uma integração anterior que usa um plug-in de catálogo (BigQueryMetastoreCatalog) para permitir que mecanismos de código aberto armazenem definições de tabela do Apache Iceberg em conjuntos de dados do BigQuery. Para novas cargas de trabalho, use o endpoint do catálogo REST do Apache Iceberg.

  • Endpoint do catálogo do Apache Hive: oferece compatibilidade com cargas de trabalho de código aberto que dependem da interface do metastore do Apache Hive (HMS). Esse endpoint é disponibilizado pelo catálogo do ambiente de execução do Lakehouse, para que você possa executar cargas de trabalho do Apache Hive ou do Spark sem manter um metastore do Hive auto-hospedado. Esse endpoint gerencia tabelas padrão do Hive e do Spark, em vez de tabelas do Apache Iceberg.

Catálogo de ambientes de execução do Lakehouse

Na hierarquia de recursos, o catálogo do ambiente de execução do Lakehouse serve como o serviço de metadados regional de nível superior em Google Cloud. Ele atua como o contêiner raiz que hospeda as instâncias de catálogo individuais, centralizando a descoberta de metadados em diferentes mecanismos de consulta.

Ele implementa a API REST Catalog do Apache Iceberg de código aberto para gerenciar namespaces e tabelas, além de fornecer extensões especificamente para o gerenciamento de catálogos.

Para saber mais sobre o serviço de metastore, incluindo os principais recursos, os mecanismos compatíveis, a configuração de endpoints e as limitações, consulte Sobre o catálogo do ambiente de execução do Lakehouse.

Catálogo

Um catálogo é um contêiner de metastore lógico apoiado por locais de armazenamento do Cloud Storage. Na estrutura de nomenclatura Project.Catalog.Namespace.Table (P.C.N.T), o catálogo representa a instância exclusiva do metastore que conecta os metadados da tabela aberta aos mecanismos de consulta.

As principais características dos catálogos incluem:

  • Associação de armazenamento: a relação entre um catálogo e o armazenamento subjacente depende do tipo de catálogo configurado.
  • Regionalidade: a região de um catálogo é derivada do armazenamento dele. Para um catálogo de vários buckets, a região vem do bucket em default_location. Para um catálogo de bucket único, ela corresponde à região do bucket. Para mais informações, consulte Regiões de bucket e catálogo.
  • Replicação entre regiões: quando o catálogo usa um bucket birregional ou multirregional, o catálogo do ambiente de execução do Lakehouse pode replicar os metadados do catálogo para uma região secundária e oferece suporte a failover (pré-lançamento).
  • Delegação de acesso: os administradores podem ativar a venda de credenciais no catálogo para delegar acesso, permitindo que credenciais de curta duração com escopo reduzido sejam geradas automaticamente em vez de conceder aos usuários permissões diretas de bucket.

Namespace

Um namespace é um agrupamento lógico de tabelas em um catálogo, que funciona de maneira semelhante a um banco de dados, esquema ou conjunto de dados do BigQuery. Ele fornece uma estrutura para organizar e gerenciar controles de acesso para tabelas.

As principais características dos namespaces incluem:

  • Regionalidade: quando você cria um namespace, ele usa automaticamente a mesma região do catálogo pai.
  • Flexibilidade de local: as opções para especificar locais de namespace personalizados são determinadas pelo tipo de warehouse do catálogo.
  • Limitações de aninhamento: namespaces aninhados (subnamespaces) não são compatíveis.
  • Limites de segurança: é possível conceder papéis do IAM no nível do namespace para gerenciar o acesso a todas as tabelas contidas nele.

Tabelas

Ao criar com o Lakehouse do Google Cloud, é possível escolher entre os seguintes tipos de tabela:

Compatível com o catálogo do ambiente de execução do Lakehouse

Recomendado

  • Tabelas do Apache Iceberg: tabelas do Apache Iceberg criadas com mecanismos de código aberto e armazenadas no Cloud Storage. Elas oferecem compatibilidade e gerenciamento abertos pelo endpoint do catálogo REST do Apache Iceberg. Os mecanismos de código aberto podem ler e gravar essas tabelas, e o BigQuery pode gravar nelas (pré-lançamento) quando você ativa a DML do BigQuery. Para garantir que duas tabelas não ocupem o mesmo local, os caminhos de tabelas personalizadas precisam ser aninhados no caminho do namespace pai, e os locais das tabelas resultantes recebem automaticamente um sufixo de string aleatório para evitar conflitos.

    Formatos de tabela compatíveis: as tabelas do Apache Iceberg V2 (GA) e V3 (pré-lançamento) são compatíveis. As tabelas Iceberg V1 não são compatíveis. Antes de usar as tabelas V1 atuais com o Lakehouse, faça upgrade delas para uma versão compatível. Para mais informações, consulte Fazer upgrade de tabelas do Iceberg V1 para a V2.

  • Tabelas do Apache Hive: tabelas padrão do Hive e do Spark (em formatos como Parquet, ORC, Avro e Delta Lake) gerenciadas pelo endpoint do catálogo do Apache Hive. Os mecanismos de código aberto podem ler e gravar essas tabelas, e o BigQuery pode lê-las. Para mais informações, consulte Formatos e tipos de armazenamento compatíveis.

Compatível com o BigQuery

  • Tabelas do Apache Iceberg: tabelas do Apache Iceberg criadas e gerenciadas pelo BigQuery. Os metadados dessas tabelas são armazenados no catálogo do BigQuery, e os dados da tabela e os metadados físicos são armazenados no Cloud Storage.
  • Tabelas nativas: tabelas totalmente gerenciadas pelo BigQuery que podem ser conectadas ao catálogo do ambiente de execução do Lakehouse para permitir que você interopere com mecanismos de código aberto.
  • Tabelas externas: tabelas fora do catálogo do ambiente de execução do Lakehouse em que os dados e metadados são autogerenciados. Eles dão suporte ao acesso delegado por meio de conexões para dados armazenados no Cloud Storage, no Amazon S3 ou no Armazenamento de Blobs do Azure.

Para uma comparação detalhada dessas opções, consulte Comparar tipos de tabela.

Sequência de processamento de consultas

Quando você envia uma consulta para uma tabela do Apache Iceberg gerenciada pelo Lakehouse, a solicitação segue um caminho específico para aplicar políticas e recuperar metadados antes que os dados sejam processados.

  1. Envio: você envia uma consulta SQL para um mecanismo compatível, como Apache Spark, Trino ou BigQuery.
  2. Solicitação de metadados: o mecanismo solicita metadados de tabela do catálogo do ambiente de execução do Lakehouse para identificar a tabela e o local dos metadados.
  3. Autorização: se houver suporte do endpoint que você está usando, o catálogo vai validar a solicitação em relação ao Identity and Access Management (IAM) e às políticas de segurança detalhadas.
  4. Resposta de metadados: o catálogo retorna os metadados. Se a venda de credenciais estiver ativada, ele também fornecerá um token de curta duração para ajudar no acesso seguro ao armazenamento.
  5. Recuperação de dados: o mecanismo usa os metadados e o token opcional para ler arquivos de dados diretamente do Cloud Storage.
  6. Execução: o mecanismo processa os dados e retorna os resultados.

Práticas recomendadas

Ao arquitetar e operar um data lakehouse no Google Cloud, considere as seguintes práticas recomendadas:

  • Adote uma arquitetura medallion: estruture seu data warehouse em camadas lógicas progressivas (bronze para ingestão bruta, prata para dados limpos e padronizados e ouro para agregações selecionadas no nível de negócios). Use o BigQuery para a camada de consumo ouro para maximizar o desempenho e a simultaneidade das consultas.
  • Use modelos de sessão para cargas de trabalho interativas: para análises exploratórias e criação de notebooks, use modelos de sessão para padronizar as configurações de ambiente entre as equipes de desenvolvimento e reduzir a configuração repetitiva.
  • Atribuir identificadores de lote personalizados: ao enviar cargas de trabalho em lote não interativas do Apache Spark sem servidor, atribua nomes personalizados de lote e job. Isso melhora a observabilidade, o que ajuda a filtrar e rastrear execuções de jobs no Cloud Logging e no console do Google Cloud .
  • Ativar a geração de registros de diagnóstico: para pipelines complexos de engenharia de dados, ative os pacotes de diagnóstico e garanta que os registros de driver e executor sejam retidos para ajudar na solução de problemas e na capacidade de suporte.

A seguir