Il catalogo di runtime Lakehouse è un metastore serverless unificato che semplifica la gestione dei metastore Hive autogestiti. Questo singolo livello di metadati completamente gestito elimina la necessità di archivi di metadati separati per i carichi di lavoro open source. Consente di condividere facilmente i dati tra Apache Spark, Apache Hive e BigQuery.
Ottimizzata per la compatibilità con Apache Spark ExternalCatalog, questa integrazione
supporta un sottoinsieme dell'interfaccia Hive Metastore. Per verificare se i tuoi workload
dipendono da funzionalità non supportate come transazioni, compattazioni o Kerberos,
consulta il confronto delle funzionalità e le limitazioni.
In che modo Hive si integra con il catalogo di runtime Lakehouse
L'endpoint del metastore Hive gestisce le tabelle standard Apache Hive e Spark (utilizzando SerDe Hive o origini dati Spark) anziché le tabelle Apache Iceberg. Per semplificare la connessione dei job Spark a questo endpoint, le immagini di Managed Service for Apache Spark sono preconfigurate con le librerie client e le dipendenze necessarie.
La seguente sequenza descrive come Spark si connette al metastore:
- Apache Spark si connette a cataloghi di metadati esterni utilizzando l'interfaccia standard
Apache Hive
IMetastoreClient. - Il catalogo di runtime Lakehouse implementa un
IMetastoreClientpersonalizzato per fornire un servizio metastore completamente gestito per i metadati Spark e Hive. - I runtime Managed Service for Apache Spark preconfigurati utilizzano automaticamente questo client personalizzato per indirizzare le operazioni sui metadati direttamente al metastore.
Dopo la configurazione, puoi eseguire query sulle tabelle create con Spark direttamente in BigQuery. Questa integrazione supporta vari formati di archiviazione, come Parquet, ORC e Avro, insieme a mappature specifiche dei tipi di dati tra Spark e BigQuery.
In che modo il catalogo Hive si integra con i servizi Google Cloud
Per capire in che modo Lakehouse senza confini gestisce i tuoi dati, scopri come l'architettura del catalogo Hive si integra con i servizi Google Cloud . Anziché gestire metastore autogestiti, i tuoi carichi di lavoro open source si connettono al catalogo di runtime Lakehouse per gestire le definizioni di database e tabelle Hive, mentre archiviano i file di dati sottostanti direttamente nelle directory del warehouse Cloud Storage.
Il seguente diagramma illustra in che modo i motori di calcolo come Managed Service for Apache Spark utilizzano il catalogo di runtime Lakehouse per gestire i metadati delle tabelle durante la lettura e la scrittura dei file di dati sottostanti direttamente in Hive.
Confronto delle funzionalità con Hive Metastore
La seguente tabella mette a confronto le entità e le operazioni in Hive Metastore e Lakehouse:
| Persona giuridica o operazione | Metastore Hive | Catalogo di runtime Lakehouse |
|---|---|---|
| Catalogo | ✅ | ✅ |
| Database (crea, elimina, aggiorna) | ✅ | ✅ |
| Tabella (crea, elimina, aggiorna) | ✅ | ✅ |
| Partizione (aggiunta, eliminazione, aggiornamento) | ✅ | ✅ |
| Privilegi della tabella | ✅ | ✅ (tramite Identity and Access Management (IAM)) |
| Privilegi di partizione | ✅ | ✅ (tramite IAM) |
| Funzioni definite dall'utente | ✅ | Non supportata |
| Colonne di bucket / distribuzione asimmetrica | ✅ | Non supportata |
| Statistiche su tabelle e colonne di partizione | ✅ | Non supportata |
| Limitazioni principali | ✅ | Non supportata |
| Token di delega (Kerberos) | ✅ | Non supportata |
| Privilegi delle colonne | ✅ | Non supportata |
| Ruoli | ✅ | Non supportata |
| Piani di risorse di Workload Manager | ✅ | Non supportata |
| Transazioni e compattazioni | ✅ | Non supportata |
Passaggi successivi
- Utilizza Spark e Hive con il catalogo di runtime Lakehouse.
- Utilizza gli endpoint regionali di Lakehouse.