O que é o Lakehouse sem fronteiras?

O Lakehouse sem fronteiras permite criar data lakehouses abertos no Google Cloud combinando o formato de tabela aberta do Apache Iceberg com o armazenamento gerenciado. Essa arquitetura separa o armazenamento da computação para fornecer uma base unificada para cargas de trabalho de análise e IA.

Para gerenciar metadados de tabelas abertas, o Lakehouse usa o catálogo do ambiente de execução do Lakehouse, um serviço de metadados sem servidor que centraliza a descoberta e elimina a sincronização entre repositórios. Esse design permite que vários mecanismos, incluindo o Serviço Gerenciado para Apache Spark, Apache Flink, Apache Hive, Trino e BigQuery, acessem diretamente uma única fonte de verdade sem duplicação de dados.

Principais vantagens

  • Arquitetura sem servidor:o Lakehouse do Google Cloud elimina a necessidade de gerenciamento de servidores ou gerenciador de clusters, reduzindo a sobrecarga operacional e escalonando automaticamente com base na demanda. Para cargas de trabalho de computação, as sessões interativas e em lote sem servidor removem a contenção de recursos entre jobs e automatizam a manutenção da infraestrutura.
  • Gerenciamento e governança de dados unificados:a integração com o Knowledge Catalog garante a definição e a aplicação centralizadas de políticas de governança em vários mecanismos, além de permitir pesquisa semântica, linhagem de dados e verificações de qualidade.
  • Extensões de armazenamento:o Lakehouse do Google Cloud amplia os recursos de gerenciamento do Cloud Storage para incluir recursos como o nível de classe automática e as chaves de criptografia gerenciadas pelo cliente (CMEK).
  • Experiência totalmente gerenciada:quando integrado ao BigQuery, o Lakehouse do Google Cloud oferece uma experiência de análise e IA totalmente gerenciada.
  • Alta disponibilidade e recuperação de desastres:o Lakehouse do Google Cloud oferece opções de replicação entre regiões e recuperação de desastres (pré-lançamento) para garantir a alta disponibilidade dos seus dados.

Casos de uso

  • Lakehouse aberto:use o Cloud Storage como a camada de armazenamento, e o Lakehouse do Google Cloud fornece a interface de gerenciamento e governança para dados do Apache Iceberg.
  • Integração analítica e transacional:acesse tabelas analíticas do Apache Iceberg diretamente no AlloyDB para PostgreSQL ([pré-lançamento][4]) para combinar dados analíticos com cargas de trabalho transacionais.
  • Acesso unificado:permita que diferentes mecanismos (Apache Spark, Apache Flink, BigQuery) interajam com as mesmas tabelas do Apache Iceberg com metadados consistentes.
  • Análise e IA em várias nuvens:acesse dados em várias nuvens (pré-lançamento) para sincronizar metadados de outros provedores de nuvem, permitindo consultar dados com o BigQuery ou mecanismos de código aberto externos pelo endpoint do catálogo REST do Apache Iceberg, tudo sem migrar os dados.
  • Análise de conjuntos de dados públicos:consulte facilmente conjuntos de dados públicos de alta qualidade usando o endpoint do catálogo REST do Apache Iceberg sem gerenciar a infraestrutura.
  • Metastore do Hive:conecte mecanismos de código aberto, como o Apache Spark e o Apache Hive, ao catálogo do ambiente de execução do Lakehouse usando o catálogo do Hive. Isso elimina a sobrecarga operacional de manter um Hive Metastore (HMS) auto-hospedado, além de permitir o compartilhamento de dados e as consultas diretas de tabelas no BigQuery.

Interfaces e ferramentas

É possível interagir com os recursos do Lakehouse do Google Cloud usando as seguintes ferramentas:

  • Console doGoogle Cloud : use o console para criar catálogos, ver as propriedades deles, conferir registros de auditoria e configurar permissões.
  • SQL do BigQuery:use a DDL (linguagem de definição de dados) do SQL padrão para criar e gerenciar tabelas do Apache Iceberg e tabelas externas integradas ao catálogo do ambiente de execução do Lakehouse.
  • Mecanismos de código aberto:use mecanismos como Apache Spark, Apache Flink e Apache Hive com o catálogo do ambiente de execução do Lakehouse para ler e gravar dados.
  • IDEs e notebooks:use notebooks interativos do Apache Spark e extensões de IDE, como a extensão Data Agent Kit (DAK) para VS Code, para se autenticar no Google Cloud, criar códigos de forma interativa e gerenciar sessões de notebook diretamente no seu ambiente de desenvolvimento.
  • Ferramentas de orquestração e MLOps:integre pipelines de lote sem servidor e operações de catálogo com fluxos de trabalho de orquestração usando o Serviço Gerenciado para Apache Airflow (antigo Cloud Composer) e o Kubeflow Pipelines na Vertex AI.
  • API Apache Iceberg REST Catalog:use o endpoint do catálogo REST do Apache Iceberg para interagir com o serviço usando ferramentas compatíveis com a especificação REST aberta do Apache Iceberg.
  • Suporte a tabelas do Apache Iceberg:as tabelas do Apache Iceberg V2 (disponibilidade geral) e V3 (pré-lançamento) são compatíveis. As tabelas do Iceberg V1 não são compatíveis.

A seguir