Scegliere l'architettura di tabella giusta è fondamentale per massimizzare il rendimento, ridurre i costi e garantire l'accesso ai dati negli strumenti di analisi. Questa pagina spiega i diversi tipi di tabelle e gli endpoint di pubblicazione disponibili in Lakehouse per Apache Iceberg, aiutandoti a scegliere l'opzione migliore in base ai motori di scrittura, ai requisiti di lettura e alle esigenze di controllo della gestione.
Formati di tabella per catalogo o motore
Seleziona un catalogo o un motore per scoprire i formati di tabella supportati, la configurazione del metastore, le funzionalità di ottimizzazione dello spazio di archiviazione e l'interoperabilità del motore.
Catalogo runtime Lakehouse
Formati di tabella supportati
Sono supportate le tabelle Apache Iceberg V2 (GA) e V3 (anteprima). Le tabelle Iceberg V1 non sono supportate. Prima di utilizzare le tabelle V1 esistenti con Lakehouse per Apache Iceberg, devi eseguire l'upgrade a una versione supportata. Per ulteriori informazioni, vedi Eseguire l'upgrade delle tabelle Iceberg V1 a V2.
Alcuni esempi delle principali funzionalità:
- Metastore: catalogo runtime Lakehouse.
- Spazio di archiviazione: Cloud Storage.
- Ottimizzazione dello spazio di archiviazione: gestita da te o, facoltativamente, da Google (anteprima).
- Accesso in lettura e scrittura:
- Motori open source: lettura e scrittura (GA)
- BigQuery: lettura/scrittura (anteprima)
- Casi d'uso: lakehouse open con spazio di archiviazione di livello enterprise e ad alte prestazioni per analisi avanzate, streaming e AI.
Metastore Hive
Il catalogo runtime Lakehouse gestisce le tabelle Apache Hive tramite un endpoint del metastore Apache Hive (HMS) ottimizzato per la compatibilità con ExternalCatalog di Apache Spark, consentendoti di condividere facilmente i dati tra Apache Spark, Apache Hive e BigQuery. Puoi creare queste tabelle dai motori open source e archiviarle in Cloud Storage. Questa opzione è ideale se vuoi che il flusso di lavoro ETL sia gestito da motori open source senza la necessità di un metastore Hive self-hosting separato e richiedi solo l'accesso in lettura da BigQuery.
Le tabelle gestite dall'endpoint del metastore Hive sono tabelle Apache Hive e Spark standard (che utilizzano SerDe Hive o origini dati Spark), non tabelle Apache Iceberg. Per creare e gestire le tabelle Apache Iceberg nel catalogo runtime Lakehouse, utilizza invece l'endpoint del catalogo REST Iceberg.
Alcuni esempi delle principali funzionalità:
- Metastore: catalogo runtime Lakehouse (tramite
IMetastoreClient). - Spazio di archiviazione: Cloud Storage (che supporta formati come Parquet, ORC e Avro).
- Ottimizzazione dello spazio di archiviazione: gestita da te o da una terza parte.
- Accesso in lettura e scrittura:
- Motori open source (Spark e Hive): lettura e scrittura.
- BigQuery: sola lettura.
- Casi d'uso: migrazione dei carichi di lavoro Spark e Hive esistenti a un metastore serverless completamente gestito su Google Cloud.
BigQuery
BigQuery supporta le tabelle gestite Apache Iceberg, le tabelle native e le tabelle esterne.
Tabelle gestite Apache Iceberg: si tratta di tabelle Apache Iceberg che crei e gestisci da BigQuery e che archivi in Cloud Storage. Sebbene possano essere lette dai motori open source, BigQuery è il motore che gestisce i metadati e scrive su di essi. Questa opzione è ideale se vuoi che il flusso di lavoro sia completamente gestito da BigQuery.
Tabelle native: si tratta di tabelle BigQuery native. Sono completamente gestite e offrono le funzionalità di analisi e gestione più avanzate. Questa opzione è ideale per i carichi di lavoro non Iceberg.
Tabelle esterne: si tratta di costrutti specifici di BigQuery per i dati archiviati in Cloud Storage, Amazon S3 o Azure Archiviazione BLOB. I dati e i metadati sono autogestiti e BigQuery ha solo accesso in lettura. Scegli questa opzione per i dati che vuoi gestire direttamente in un catalogo o in uno spazio di archiviazione di terze parti.
Formati di tabella per prodotto
Utilizza il seguente grafico per confrontare i tipi di tabelle tra il catalogo runtime Lakehouse e BigQuery.
Lakehouse
| Apache Iceberg (GA) | Apache Hive (anteprima) | |
|---|---|---|
| Metastore | Catalogo runtime Lakehouse | Catalogo runtime Lakehouse |
| Spazio di archiviazione | Cloud Storage | Cloud Storage |
| Ottimizzazione dello spazio di archiviazione | Gestita dal cliente, da terze parti o da Google (anteprima) | Gestita dal cliente o da terze parti |
| Lettura/scrittura |
Motori open source (lettura/scrittura) BigQuery (lettura/scrittura). Anteprima |
Motori open source (lettura/scrittura) BigQuery (sola lettura) |
| Operazioni avanzate | Nessuna | Nessuna |
| Casi d'uso | Lakehouse open | Esegui la migrazione dei carichi di lavoro Spark e Hive esistenti a un metastore serverless completamente gestito, |
BigQuery
| Tabelle gestite Apache Iceberg | Tabelle esterne | Tabelle standard | |
|---|---|---|---|
| Metastore | BigQuery | Metastore esterno o self-hosting | BigQuery |
| Spazio di archiviazione | Cloud Storage | Cloud Storage / Amazon S3 / Azure | BigQuery |
| Ottimizzazione dello spazio di archiviazione | Gestita da Google | Gestita dal cliente o da terze parti | Gestita da Google |
| Lettura/scrittura |
Motori open source (sola lettura con le librerie Iceberg, interoperabilità di lettura/scrittura con l'API BigQuery Storage)
BigQuery (lettura/scrittura) |
Motori open source (lettura/scrittura) BigQuery (sola lettura) |
Motori open source (interoperabilità di lettura/scrittura con
API BigQuery Storage) BigQuery (lettura/scrittura) |
| Operazioni avanzate | Streaming a elevata velocità effettiva con l'API BigQuery Storage Write, Change Data Capture (CDC) e transazioni multi-istruzione | Nessuna | Streaming a elevata velocità effettiva con l'API BigQuery Storage Write, Change Data Capture (CDC) e transazioni multi-istruzione |
| Casi d'uso | Lakehouse open con spazio di archiviazione di livello enterprise e ad alte prestazioni per analisi avanzate, streaming e AI | Tabelle di gestione temporanea per i caricamenti di BigQuery, tabelle legacy di sola query tabelle | Spazio di archiviazione di livello enterprise per analisi avanzate, streaming e AI |
Passaggi successivi
Scopri come gestire le tabelle Apache Iceberg.
Scopri come importare tabelle Iceberg esterne utilizzando Dataflow.
Scopri come utilizzare la federazione di cataloghi con BigQuery.