Crea ed esegui query su una tabella Iceberg in Lakehouse utilizzando la console Google Cloud
In questa guida rapida, utilizzerai la console Google Cloud per scoprire come Lakehouse senza confini ti consente di gestire e condividere le tabelle Apache Iceberg tra Google Cloud e motori open source archiviando i metadati delle tabelle, inclusi schemi, snapshot e posizioni di archiviazione, nel catalogo di runtime Lakehouse.
Per completare questa guida rapida, segui questi passaggi nella consoleGoogle Cloud :
- Crea un bucket Cloud Storage: crea un bucket in Cloud Storage per archiviare i dati della tabella Iceberg e i file di metadati.
- Crea un catalogo: crea un catalogo con più bucket nel catalogo di runtime di Lakehouse supportato dal tuo bucket con la distribuzione delle credenziali abilitata.
- Crea uno spazio dei nomi e una tabella Iceberg: utilizza la pagina Lakehouse nella console Google Cloud per creare uno spazio dei nomi e una tabella Iceberg con data manipulation language (DML) di BigQuery abilitato.
- Modifica i dati ed esegui query sulla tabella in BigQuery: utilizza le istruzioni DML di BigQuery (
INSERT,UPDATEeDELETE) per modificare le righe nella tabella Iceberg ed esegui query sui risultati utilizzando la sintassi P.C.N.T (Project.Catalog.Namespace.Table) in quattro parti, senza bisogno di ETL o registrazione manuale della tabella.
Prima di iniziare
- Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment di workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Make sure that you have the following role or roles on the project: BigLake Admin (
roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
- Click Grant access.
-
In the New principals field, enter your user identifier. This is typically the email address for a Google Account.
- Click Select a role, then search for the role.
- To grant additional roles, click Add another role and add each additional role.
- Click Save.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Make sure that you have the following role or roles on the project: BigLake Admin (
roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
- Click Grant access.
-
In the New principals field, enter your user identifier. This is typically the email address for a Google Account.
- Click Select a role, then search for the role.
- To grant additional roles, click Add another role and add each additional role.
- Click Save.
-
Crea un bucket Cloud Storage
Crea un bucket Cloud Storage nella console Google Cloud per archiviare i file di dati e metadati della tabella Iceberg:
Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
Fai clic su Crea.
Nella sezione Inizia, inserisci un nome bucket univoco globale (ad esempio
lakehouse-quickstart-UNIQUE_IDoPROJECT_ID-lakehouse), quindi fai clic su Continua.Nella sezione Scegli dove archiviare i tuoi dati, lascia Tipo di località impostato su Multi-regione (us (più regioni negli Stati Uniti)), quindi fai clic su Crea.
Se viene visualizzata la finestra di dialogo L'accesso pubblico verrà vietato, fai clic su Conferma.
Crea un catalogo nel catalogo di runtime Lakehouse
Crea un catalogo multi-bucket nel catalogo di runtime Lakehouse per le tue tabelle Apache Iceberg. Un catalogo con più bucket ti consente di assegnare un nome al catalogo indipendentemente dal nome del bucket e di associare più bucket Cloud Storage a un singolo catalogo. Per proteggere l'accesso a questi bucket, attiva la modalità di distribuzione delle credenziali in modo che il catalogo possa emettere automaticamente credenziali di archiviazione temporanee direttamente ai tuoi motori client.
Nella console Google Cloud , vai alla pagina Lakehouse.
Fai clic su Crea catalogo e poi seleziona Catalogo di runtime Lakehouse.
Nella sezione Tipo e origine catalogo, configura le seguenti impostazioni:
- Tipo di catalogo: seleziona Catalogo REST Iceberg.
- Opzioni del bucket del catalogo Lakehouse: seleziona Catalogo con più bucket.
- Percorso Cloud Storage del catalogo predefinito: fai clic su Sfoglia, seleziona il bucket che hai creato e fai clic su Seleziona.
- ID catalogo: inserisci
quickstart_catalog. - Località principale: seleziona Multi-regione, quindi seleziona Stati Uniti (più regioni negli Stati Uniti). Il campo Giurisdizione viene compilato automaticamente in base al bucket.
Fai clic su Continua, quindi nella sezione Percorsi dei dati, fai clic su Continua.
Nella sezione Metodo di autenticazione, seleziona Modalità di distribuzione delle credenziali.
Con la distribuzione delle credenziali, il catalogo emette in modo sicuro token di archiviazione temporanei con ambito di tabella per i motori client e BigQuery, in modo che i motori esterni non abbiano bisogno di autorizzazioni IAM dirette sul tuo bucket.
Fai clic su Crea.
Il catalogo viene creato e viene visualizzata la pagina Dettagli catalogo.
In Metodo di autenticazione, fai clic su Imposta autorizzazioni bucket (o Imposta autorizzazioni per i bucket se il catalogo comprende più bucket), quindi fai clic su Conferma nella finestra di dialogo.
Questo passaggio concede al account di servizio del catalogo le autorizzazioni necessarie sul bucket Cloud Storage per fornire credenziali temporanee.
Crea uno spazio dei nomi e una tabella Iceberg
Ora che hai un catalogo, utilizza la pagina Lakehouse nella consoleGoogle Cloud per creare uno spazio dei nomi e una tabella Iceberg.
Crea uno spazio dei nomi
Nella pagina Dettagli catalogo per
quickstart_catalog, fai clic su Crea spazio dei nomi.Nel campo Nome spazio dei nomi, inserisci
quickstart_namespace.Lascia l'opzione Località impostata sul percorso Cloud Storage predefinito che viene compilato automaticamente nel campo.
Fai clic su Crea.
Crea una tabella Iceberg
Nella pagina Dettagli catalogo, fai clic su
quickstart_namespace.Viene visualizzata la pagina Dettagli spazio dei nomi.
Fai clic su Crea tabella.
Nel riquadro Crea tabella, configura le seguenti impostazioni:
- Formato tabella: verifica che sia selezionato Iceberg.
- Nome tabella: inserisci
quickstart_table. - Località: lascia il percorso Cloud Storage predefinito.
In Schema, fai clic su Aggiungi campo due volte per aggiungere due colonne alla tabella:
- Per il primo campo, nel campo Nome campo, inserisci
ide dal menu Tipo, seleziona INTEGER. - Per il secondo campo, nel campo Nome campo, inserisci
namee dal menu Tipo, seleziona STRING.
- Per il primo campo, nel campo Nome campo, inserisci
In Proprietà, trova la proprietà predefinita
gcp.biglake.bigquery-dml.enablede modifica il relativo Valore dafalseatrue. Lasciagcp.biglake.table-management.enabledimpostato sufalse.Se imposti
gcp.biglake.bigquery-dml.enabledsutrue, puoi modificare i dati nella tabella Iceberg utilizzando istruzioni DML BigQuery comeINSERT,UPDATE,DELETEeMERGE. Per saperne di più, consulta Configura le opzioni della tabella.Fai clic su Crea.
La nuova tabella Iceberg (
quickstart_table) viene visualizzata nella pagina Dettagli dello spazio dei nomi e il catalogo di runtime Lakehouse scrive il file di metadati Iceberg iniziale nel bucket Cloud Storage.
Modifica i dati ed esegui query sulla tabella in BigQuery
Con quickstart_table creato e il DML di BigQuery abilitato, puoi inserire, aggiornare, eliminare ed eseguire query sulle righe direttamente in BigQuery utilizzando la sintassi P.C.N.T (Project.Catalog.Namespace.Table) in quattro parti. In ogni istruzione, sostituisci PROJECT_ID con l'ID progettoGoogle Cloud :
Nella console Google Cloud , vai alla pagina BigQuery.
Nell'editor di query, fai clic su Query SQL.
Per inserire dati di esempio, inserisci la seguente istruzione nell'editor di query, quindi fai clic su Esegui:
INSERT INTO `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` (id, name) VALUES (1, 'one'), (2, 'two'), (3, 'three');
Al termine dell'istruzione
INSERT, BigQuery scrive i file di dati Parquet nel bucket Cloud Storage ed esegue il commit di un nuovo snapshot Iceberg nel catalogo di runtime Lakehouse.Per modificare una riga della tabella, inserisci la seguente istruzione nell'editor di query, quindi fai clic su Esegui:
UPDATE `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` SET name = 'updated' WHERE id = 1;
Per eliminare una riga dalla tabella, inserisci la seguente istruzione nell'editor di query, quindi fai clic su Esegui:
DELETE FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` WHERE id = 3;
Per eseguire una query sulla tabella e verificare le modifiche, inserisci la seguente istruzione nell'editor di query, quindi fai clic su Esegui:
SELECT * FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` ORDER BY id;
Il riquadro Risultati delle query mostra le restanti due righe, incluso il valore aggiornato per
id = 1:+----+---------+ | id | name | +----+---------+ | 1 | updated | | 2 | two | +----+---------+
Poiché il catalogo di runtime Lakehouse gestisce i metadati Iceberg e la distribuzione delle credenziali è abilitata, puoi anche leggere o scrivere in quickstart_table utilizzando qualsiasi motore open source compatibile con Iceberg, come Apache Spark, Trino o Apache Flink, senza concedere loro l'accesso IAM diretto al tuo bucket.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi non necessari, elimina le risorse che hai creato in questa guida rapida. L'eliminazione della tabella, dello spazio dei nomi e del catalogo rimuove la registrazione dei metadati dal catalogo di runtime di Lakehouse, mentre l'eliminazione del bucket rimuove i file di dati Parquet e di metadati Iceberg sottostanti archiviati in Cloud Storage:
Nella console Google Cloud , vai alla pagina Lakehouse.
Elimina la tabella dal catalogo:
- Fai clic su
quickstart_catalog, quindi suquickstart_namespace. - Nella riga relativa a
quickstart_table, fai clic su Azioni > Elimina. - Nella finestra di dialogo di conferma, inserisci
deleteper confermare, quindi fai clic su Elimina.
- Fai clic su
Elimina lo spazio dei nomi dal catalogo:
- Torna alla pagina Dettagli catalogo per
quickstart_catalog. - Nella riga relativa a
quickstart_namespace, fai clic su Altre azioni per lo spazio dei nomi > Elimina. - Nella finestra di dialogo di conferma, inserisci
deleteper confermare, quindi fai clic su Elimina.
- Torna alla pagina Dettagli catalogo per
Elimina il catalogo:
- Torna alla pagina Lakehouse.
- Nella riga relativa a
quickstart_catalog, fai clic su Altre azioni del catalogo > Elimina. - Nella finestra di dialogo di conferma, inserisci
deleteper confermare, quindi fai clic su Elimina.
Elimina il bucket Cloud Storage e tutti i relativi contenuti:
Vai alla pagina Bucket di Cloud Storage.
Seleziona la casella di controllo accanto al bucket che hai creato per questa guida rapida, quindi fai clic su Elimina.
Nella finestra di dialogo di conferma, inserisci
DELETEper confermare, quindi fai clic su Elimina.
Passaggi successivi
- Prova la guida rapida Crea ed esegui query su una tabella Iceberg utilizzando Google Cloud CLI.
- Scopri come modificare i dati con le istruzioni DML di BigQuery e configurare le opzioni delle tabelle.
- Prova il codelab Configura l'accesso ai dati cross-cloud per eseguire query sui dati in Amazon Web Services (AWS), AlloyDB per PostgreSQL e Cloud Storage senza ETL.
- Scopri di più sui cataloghi con più bucket e sull'endpoint del catalogo REST Apache Iceberg.
- Scopri come gestire i cataloghi nel catalogo di runtime Lakehouse.
- Scopri di più sulle tabelle Apache Iceberg gestite da Lakehouse.