Lakehouse fornisce l'interoperabilità con BigQuery instradando le richieste tramite l'endpoint del catalogo REST Apache Iceberg al catalogo BigQuery. Questa funzionalità ti consente di esporre le tabelle gestite da BigQuery, ad esempio le tabelle gestite da Iceberg, a motori open source (OSS) esterni come Apache Spark e Trino.
Anziché creare un container del catalogo Lakehouse dedicato per archiviare i metadati, l'endpoint del catalogo REST Apache Iceberg funge esclusivamente da gateway proxy. Quando i motori esterni si connettono utilizzando il prefisso del warehouse bq://, il gateway indirizza le richieste di catalogo direttamente al catalogo interno di BigQuery.
In questo modo puoi creare e gestire le tabelle direttamente in BigQuery utilizzando le API o il DDL BigQuery standard, consentendo al contempo ai motori OSS esterni l'accesso di sola lettura per eseguire query su queste tabelle tramite l'endpoint del catalogo REST.
Come funziona l'esecuzione di query sulle tabelle BigQuery tramite l'endpoint del catalogo REST
Il routing delle richieste al catalogo BigQuery ti consente di esporre le tabelle BigQuery, come le tabelle gestite da Iceberg e le tabelle del metastore BigQuery, tramite l'endpoint del catalogo REST Apache Iceberg del catalogo di runtime Lakehouse.
Il workflow funziona come segue:
- Crea una tabella nel catalogo BigQuery: crea una tabella gestita da Iceberg in BigQuery utilizzando le istruzioni DDL. Questa tabella esiste nel catalogo BigQuery, è regolata dagli elenchi di controllo dell'accesso (ACL) di BigQuery e funziona come risorsa REST di BigQuery.
- Esegui la federazione nel warehouse BigQuery dal catalogo di runtime Lakehouse: utilizzando l'API REST Apache Iceberg del catalogo di runtime Lakehouse, esegui la federazione in un warehouse specificato dal formato del percorso del warehouse
bq://projects/PROJECT_ID(o dalla versione regionalebq://projects/PROJECT_ID/locations/LOCATION). In questo modo puoi accedere alla tabella BigQuery da Compute Engine come Apache Spark tramite l'API Apache Iceberg REST Catalog. In questa configurazione, l'esperienza di Spark è di sola lettura, mentre quella di BigQuery è di lettura/scrittura.
Considerazioni
Poiché il routing delle richieste al catalogo BigQuery non crea una risorsa del catalogo Lakehouse dedicata, altri concetti e configurazioni a livello di catalogo, come la gerarchia delle risorse, le regioni dei bucket e del catalogo e la struttura di denominazione P.C.N.T in quattro parti, non si applicano a questo metodo. Nell'API sottostante, questo corrisponde alla configurazione
CATALOG_TYPE_BIGQUERY. La delega dell'accesso allo spazio di archiviazione (distribuzione delle credenziali) non è supportata quando le richieste vengono indirizzate al catalogo BigQuery.L'esposizione delle tabelle BigQuery tramite l'endpoint del catalogo REST è diversa dall'accesso ai dati cross-cloud. Mentre questo flusso di lavoro espone le tabelle Google Cloud a motori OSS esterni, Lakehouse connette Google Cloud a cataloghi esterni remoti, come Databricks Unity Catalog, per eseguire query sui dati archiviati in altri cloud provider direttamente da BigQuery e dai motori OSS senza migrare i dati. Per saperne di più su questo flusso di lavoro, consulta Informazioni sull'accesso ai dati cross-cloud.
Confronto con le tabelle gestite dall'endpoint del catalogo REST Apache Iceberg
L'esposizione delle tabelle BigQuery tramite l'endpoint del catalogo REST differisce dai workflow in cui il catalogo di runtime Lakehouse utilizza l'endpoint del catalogo REST Apache Iceberg nei seguenti modi:
- Gestione delle risorse e archiviazione del catalogo: le tabelle nel catalogo BigQuery risiedono lì come risorse REST BigQuery e il catalogo di runtime di Lakehouse funge da gateway proxy. Quando il catalogo di runtime Lakehouse utilizza l'endpoint del catalogo REST Apache Iceberg per gestire direttamente le tabelle, queste vengono archiviate come risorse REST Lakehouse.
- Controllo degli accessi: le tabelle nel catalogo BigQuery utilizzano le autorizzazioni IAM e gli elenchi di controllo dell'accesso (ACL) di BigQuery. Le tabelle gestite direttamente nel catalogo di runtime Lakehouse utilizzano le ACL Lakehouse.
- Funzionalità di lettura e scrittura del motore: le tabelle gestite da Iceberg forniscono l'accesso in lettura e scrittura tramite BigQuery e l'accesso di sola lettura da motori esterni come Spark. Le tabelle gestite direttamente nel catalogo di runtime Lakehouse tramite l'endpoint del catalogo REST Apache Iceberg supportano le operazioni di lettura/scrittura sia da BigQuery sia da motori esterni come Spark.
Prima di iniziare
-
Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .
-
Abilita l'API BigLake, se non è già abilitata.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione
serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per eseguire query sulle tabelle BigQuery tramite l'endpoint del catalogo REST Apache Iceberg, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Leggere le risorse del catalogo ed eseguire query sui dati delle tabelle:
- BigLake Viewer (
roles/biglake.viewer) sul progetto - Storage Object Viewer (
roles/storage.objectViewer) sul bucket Cloud Storage
- BigLake Viewer (
-
Crea spazi dei nomi o modifica le tabelle create dal motore esterno:
- BigQuery Data Editor (
roles/bigquery.dataEditor) sul progetto - Storage Admin (
roles/storage.admin) sul bucket Cloud Storage
- BigQuery Data Editor (
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Se utilizzi motori di query esterni come Managed Service for Apache Spark per creare spazi dei nomi o modificare tabelle create da motori esterni, concedi questi ruoli al account di servizio che esegue i job in quel motore (le tabelle gestite da Iceberg sono di sola lettura dai motori esterni).
Configura il client per il data warehouse BigQuery
Per connetterti al warehouse BigQuery, configura il tuo client (ad esempio Apache Spark o Trino) con il formato del warehouse bq://projects/PROJECT_ID nel campo WAREHOUSE_PATH negli esempi di configurazione del client in Configura l'applicazione client.
Puoi anche scegliere di includere una località BigQuery per limitare le richieste future a una singola località utilizzando il formato bq://projects/PROJECT_ID/locations/LOCATION.
Poiché queste risorse sono gestite da BigQuery, devi disporre delle autorizzazioni richieste applicabili.
Crea spazi dei nomi nel data warehouse BigQuery
Dopo aver configurato il client, puoi creare uno spazio dei nomi per le tabelle.
Spark
Per creare uno spazio dei nomi nel warehouse BigQuery, includi le clausole LOCATION e DBPROPERTIES:
spark.sql("CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME LOCATION 'gs://BUCKET_NAME/NAMESPACE_NAME' WITH DBPROPERTIES ('gcp-region' = 'LOCATION');") spark.sql("USE NAMESPACE_NAME;")
Sostituisci quanto segue:
NAMESPACE_NAME: un nome per lo spazio dei nomi.BUCKET_NAME: il bucket Cloud Storage che utilizzi con il tuo catalogo.LOCATION: una località BigQuery. Il valore predefinito è la multi-regioneUS.
Trino
Per creare uno schema nel data warehouse BigQuery, includi le proprietà LOCATION e gcp-region:
CREATE SCHEMA IF NOT EXISTS CATALOG_NAME.SCHEMA_NAME WITH ( LOCATION = 'gs://BUCKET_NAME/SCHEMA_NAME', "gcp-region" = 'LOCATION'); USE CATALOG_NAME.SCHEMA_NAME;
Sostituisci quanto segue:
CATALOG_NAME: il nome del catalogo Trino che utilizza l'endpoint del catalogo REST Apache Iceberg.SCHEMA_NAME: un nome per lo schema.BUCKET_NAME: il bucket Cloud Storage che utilizzi con il tuo catalogo.LOCATION: una località BigQuery. Il valore predefinito è la multi-regioneUS.
Esegui query sulle tabelle in BigQuery
Le tabelle che crei nel warehouse BigQuery sono visibili in BigQuery e possono essere interrogate direttamente utilizzando l'SQL standard di BigQuery (senza bisogno di un nome P.C.N.T in quattro parti):
SELECT * FROM `NAMESPACE_NAME.TABLE_NAME`;
Sostituisci quanto segue:
NAMESPACE_NAME: il nome dello spazio dei nomi.TABLE_NAME: il nome della tabella.
Passaggi successivi
- Scopri come gestire i cataloghi nella console Google Cloud .
- Scopri di più sulle tabelle Apache Iceberg supportate dal catalogo di runtime Lakehouse.