Che cos'è Lakehouse for Apache Iceberg?

Lakehouse for Apache Iceberg è un motore di archiviazione ad alte prestazioni progettato per la creazione di data lakehouse aperti. Integrando il formato di tabella aperto Apache Iceberg con uno spazio di archiviazione completamente gestito e di livello enterprise su Google Cloud, fornisce un'interfaccia unificata per analisi avanzate e AI.

Per gestire i metadati delle tabelle aperte, Lakehouse for Apache Iceberg utilizza il catalogo runtime Lakehouse. Questo servizio di metadati serverless completamente gestito fornisce un'unica fonte di verità in sistemi disparati, centralizzando l'individuazione ed eliminando la necessità di sincronizzare i metadati tra repository diversi.

Separando l'archiviazione dal calcolo, il Lakehouse di Google Cloud garantisce un'interoperabilità perfetta tra sistemi analitici e transazionali. Questa architettura consente a più motori, tra cui Apache Spark, Apache Flink, Apache Hive, Trino e BigQuery, di accedere a un'unica origine attendibile, eliminando la duplicazione dei dati e garantendo insight coerenti.

Vantaggi principali

  • Architettura serverless:Lakehouse di Google Cloud elimina la necessità di gestione di server o cluster, riducendo l'overhead operativo e scalando automaticamente in base alla domanda. Per i carichi di lavoro di calcolo, le sessioni batch e interattive serverless eliminano la contesa delle risorse tra i job e automatizzano la manutenzione dell'infrastruttura.
  • Gestione e governance dei dati unificate: l'integrazione con Knowledge Catalog garantisce la definizione e l'applicazione centrali delle policy di governance su più motori e consente la ricerca semantica, la derivazione dei dati e i controlli di qualità.
  • Estensioni di archiviazione:Lakehouse di Google Cloud estende le funzionalità di gestione di Cloud Storage per includere funzionalità come il tiering automatico e le chiavi di crittografia gestite dal cliente (CMEK).
  • Esperienza completamente gestita:se integrato con BigQuery, il lakehouse di Google Cloud utilizza lo streaming a velocità effettiva elevata e la gestione dei metadati in tempo reale per fornire un'esperienza di streaming, analisi e AI completamente gestita.
  • Alta affidabilità e ripristino di emergenza: Google Cloud Lakehouse offre opzioni per la replica tra regioni e il ripristino di emergenza (anteprima) per supportare l'alta affidabilità dei tuoi dati.

Casi d'uso

  • Open Lakehouse:utilizza Cloud Storage come livello di archiviazione e Lakehouse di Google Cloud fornisce l'interfaccia di gestione e governance per i dati Apache Iceberg.
  • Integrazione analitica e transazionale:accedi alle tabelle analitiche Apache Iceberg direttamente in AlloyDB per PostgreSQL (anteprima) per combinare i dati analitici con i carichi di lavoro transazionali.
  • Accesso unificato:consente a motori diversi (Apache Spark, Apache Flink, BigQuery) di interagire con le stesse tabelle Apache Iceberg con metadati coerenti.
  • Analisi e AI cross-cloud:utilizza Lakehouse cross-cloud (anteprima) per sincronizzare i metadati di altri provider cloud, consentendoti di eseguire query sui dati con BigQuery o motori open source esterni tramite l'endpoint del catalogo REST di Apache Iceberg, il tutto senza eseguire la migrazione dei dati.
  • Esplorazione dei set di dati pubblici:esegui facilmente query su set di dati pubblici di alta qualità utilizzando l'endpoint del catalogo REST di Apache Iceberg senza gestire l'infrastruttura.
  • Hive Metastore Connetti motori open source come Apache Spark e Apache Hive al catalogo runtime Lakehouse utilizzando il catalogo Hive (anteprima). In questo modo si elimina il sovraccarico operativo della gestione di un Hive Metastore (HMS) autogestito, consentendo la condivisione dei dati e le query dirette sulle tabelle in BigQuery.

Interfacce e strumenti

Puoi interagire con le risorse Lakehouse di Google Cloud utilizzando i seguenti strumenti:

  • ConsoleGoogle Cloud : utilizza la console per creare cataloghi, visualizzare le proprietà dei cataloghi, visualizzare i log di controllo e configurare le autorizzazioni.
  • BigQuery SQL: utilizza DDL (Data Definition Language) SQL standard per creare e gestire tabelle Apache Iceberg e tabelle esterne integrate con il catalogo di runtime Lakehouse.
  • Motori open source: utilizza motori come Apache Spark, Apache Flink e Apache Hive con il catalogo runtime Lakehouse per leggere e scrivere dati.
  • IDE e notebook:utilizza notebook Apache Spark interattivi ed estensioni IDE, come l'estensione Data Agent Kit (DAK) per VS Code, per autenticarti su Google Cloud, creare codice in modo interattivo e gestire le sessioni dei notebook direttamente nel tuo ambiente di sviluppo.
  • Strumenti di orchestrazione e MLOps:integra pipeline batch serverless e operazioni di catalogo con flussi di lavoro di orchestrazione utilizzando Managed Service for Apache Airflow (in precedenza Cloud Composer) e Kubeflow Pipelines in Vertex AI.
  • API del catalogo runtime lakehouse:utilizza l'endpoint del catalogo REST di Apache Iceberg per interagire con il servizio utilizzando strumenti compatibili con la specifica REST di Apache Iceberg aperta.

Passaggi successivi