O Lakehouse para Apache Iceberg é um mecanismo de armazenamento de alta performance projetado para criar data lakehouses abertos. Ao integrar o formato de tabela aberta do Apache Iceberg com armazenamento totalmente gerenciado e de nível empresarial no Google Cloud, ele oferece uma interface unificada para análise avançada e IA.
Ao separar o armazenamento da computação, o Lakehouse do Google Cloud garante a interoperabilidade perfeita entre sistemas analíticos e transacionais. Essa arquitetura permite que vários mecanismos, incluindo Apache Spark, Apache Flink, Apache Hive, Trino e BigQuery, acessem uma única fonte de verdade, eliminando a duplicação de dados e garantindo insights consistentes.
Principais benefícios
- Arquitetura sem servidor:o Lakehouse do Google Cloud elimina a necessidade de gerenciamento de servidores ou clusters, reduzindo a sobrecarga operacional e escalonando automaticamente com base na demanda.
- Gerenciamento e governança de dados unificados: a integração com o Knowledge Catalog garante a definição e a aplicação centralizadas de políticas de governança em vários mecanismos e permite pesquisa semântica, linhagem de dados e verificações de qualidade.
- Extensões de armazenamento:o Lakehouse do Google Cloud estende os recursos de gerenciamento do Cloud Storage para incluir recursos como a classe automática de armazenamento e as chaves de criptografia gerenciadas pelo cliente (CMEK).
- Experiência totalmente gerenciada:quando integrado ao BigQuery, o Lakehouse do Google Cloud usa streaming de alta capacidade e gerenciamento de metadados em tempo real para oferecer uma experiência totalmente gerenciada de streaming, análise e IA.
- Alta disponibilidade e recuperação de desastres: o Lakehouse do Google Cloud oferece opções de replicação entre regiões e recuperação de desastres (visualização) para oferecer suporte à alta disponibilidade dos seus dados.
Casos de uso
- Lakehouse aberto:use o Cloud Storage como a camada de armazenamento, e o Lakehouse do Google Cloud fornece a interface de gerenciamento e governança para dados do Apache Iceberg.
- Integração analítica e transacional: acesse tabelas analíticas do Apache Iceberg diretamente no AlloyDB para PostgreSQL (visualização) para combinar dados analíticos com cargas de trabalho transacionais.
- Acesso unificado:permita que diferentes mecanismos (Apache Spark, Apache Flink, BigQuery) interajam com as mesmas tabelas do Apache Iceberg com metadados consistentes.
- Análise e IA entre nuvens: use o Lakehouse entre nuvens (visualização) para consultar dados em outros provedores de nuvem diretamente do Google Cloud Google Cloud sem exigir a migração de dados.
- Exploração de conjuntos de dados públicos:consulte facilmente conjuntos de dados públicos de alta qualidade usando o endpoint do catálogo REST do Apache Iceberg sem gerenciar a infraestrutura.
Interfaces e ferramentas
É possível interagir com os recursos do Lakehouse do Google Cloud usando as seguintes ferramentas:
- Google Cloud **Console do Google Cloud**: use o console para criar catálogos, conferir propriedades de catálogos , visualizar registros de auditoria e configurar permissões.
- SQL do BigQuery:use a DDL (linguagem de definição de dados) SQL padrão para criar e gerenciar tabelas do Apache Iceberg e tabelas externas integradas ao catálogo do ambiente de execução do Lakehouse.
- Mecanismos de código aberto:use mecanismos como Apache Spark, Apache Flink e Apache Hive com o catálogo do ambiente de execução do Lakehouse para ler e gravar dados.
- API do catálogo do ambiente de execução do Lakehouse:use o endpoint do catálogo REST do Apache Iceberg para interagir com o serviço usando ferramentas compatíveis com a especificação REST aberta do Apache Iceberg.
A seguir
- Entenda a arquitetura do Lakehouse do Google Cloud.