Che cos'è una lakehouse senza confini?

Borderless Lakehouse ti consente di creare data lakehouse aperti suGoogle Cloud combinando il formato di tabella aperta Apache Iceberg con lo spazio di archiviazione gestito. Questa architettura disaccoppia lo spazio di archiviazione dal computing per fornire una base unificata per i workload di analisi e AI.

Per gestire i metadati delle tabelle aperte, Lakehouse utilizza il catalogo di runtime Lakehouse, un servizio di metadati serverless che centralizza il rilevamento ed elimina la sincronizzazione tra repository. Questo design consente a più motori, tra cui Managed Service per Apache Spark, Apache Flink, Apache Hive, Trino e BigQuery, di accedere direttamente a una Single Source Of Truth senza duplicazione dei dati.

Vantaggi principali

  • Architettura serverless: il lakehouse di Google Cloud elimina la necessità di gestire server o cluster, riducendo l'overhead operativo e scalando automaticamente in base alla domanda. Per i workload di computing, le sessioni interattive e batch serverless eliminano la contesa delle risorse tra i job e automatizzano la manutenzione dell'infrastruttura.
  • Gestione e governance dei dati unificate: l'integrazione con Knowledge Catalog garantisce la definizione e l'applicazione centralizzate delle policy di governance su più motori e consente la ricerca semantica, la derivazione dei dati e i controlli di qualità.
  • Estensioni di archiviazione: il lakehouse di Google Cloud estende le funzionalità di gestione di Cloud Storage per includere funzionalità come il tiering di Autoclass e le chiavi di crittografia gestite dal cliente (CMEK).
  • Esperienza completamente gestita: se integrato con BigQuery, il lakehouse di Google Cloud offre un'esperienza di analisi e AI completamente gestita.
  • Alta affidabilità e ripristino di emergenza: il lakehouse di Google Cloud offre opzioni per la replica tra regioni e ripristino di emergenza (anteprima) per supportare l'alta affidabilità dei tuoi dati.

Casi d'uso

  • Lakehouse aperto: utilizza Cloud Storage come livello di archiviazione e il Lakehouse di Google Cloud fornisce l'interfaccia di gestione e governance per i dati Apache Iceberg.
  • Integrazione analitica e transazionale: accedi alle tabelle Apache Iceberg analitiche direttamente in AlloyDB per PostgreSQL ([Anteprima][4]) per combinare i dati analitici con i workload transazionali.
  • Accesso unificato: consenti a diversi motori (Apache Spark, Apache Flink, BigQuery) di interagire con le stesse tabelle Apache Iceberg con metadati coerenti.
  • Analisi e AI cross-cloud: accedi ai dati cross-cloud (anteprima) per sincronizzare i metadati di altri cloud provider, in modo da poter eseguire query sui dati con BigQuery o motori open source esterni tramite l'endpoint del catalogo REST di Apache Iceberg, il tutto senza migrare i dati.
  • Esplorazione di set di dati pubblici: esegui facilmente query su set di dati pubblici di alta qualità utilizzando l'endpoint del catalogo REST Apache Iceberg senza gestire l'infrastruttura.
  • Hive Metastore: connetti motori open source come Apache Spark e Apache Hive al catalogo di runtime Lakehouse utilizzando il catalogo Hive. In questo modo, l'overhead operativo della manutenzione di un Hive Metastore (HMS) in hosting autonomo viene eliminato, consentendo al contempo la condivisione dei dati e le query dirette sulle tabelle in BigQuery senza problemi.

Interfacce e strumenti

Puoi interagire con le risorse Lakehouse di Google Cloud utilizzando i seguenti strumenti:

  • ConsoleGoogle Cloud : utilizza la console per creare cataloghi, visualizzare le proprietà dei cataloghi, visualizzare gli audit log e configurare le autorizzazioni.
  • BigQuery SQL: utilizza il DDL (Data Definition Language) SQL standard per creare e gestire tabelle Apache Iceberg e tabelle esterne integrate con il catalogo di runtime Lakehouse.
  • Motori open source: utilizza motori come Apache Spark, Apache Flink e Apache Hive con il catalogo di runtime Lakehouse per leggere e scrivere dati.
  • IDE e notebook: utilizza notebook Apache Spark interattivi ed estensioni IDE, come l'estensione Data Agent Kit (DAK) per VS Code, per autenticarti su Google Cloud, creare codice in modo interattivo e gestire le sessioni dei notebook direttamente nel tuo ambiente di sviluppo.
  • Strumenti di orchestrazione e MLOps: integra le pipeline batch serverless e le operazioni di catalogo con i workflow di orchestrazione utilizzando Managed Service for Apache Airflow (in precedenza Cloud Composer) e Kubeflow Pipelines in Vertex AI.
  • API del catalogo REST Apache Iceberg: utilizza l'endpoint del catalogo REST Apache Iceberg per interagire con il servizio utilizzando strumenti compatibili con la specifica REST Apache Iceberg aperta.
  • Supporto delle tabelle Apache Iceberg:sono supportate le tabelle Apache Iceberg V2 (disponibilità generale) e V3 (anteprima). Le tabelle Iceberg V1 non sono supportate.

Passaggi successivi