Membuat dan mengkueri tabel Iceberg di Lakehouse menggunakan konsol Google Cloud
Dalam panduan memulai ini, Anda akan menggunakan konsol Google Cloud untuk mempelajari cara Lakehouse tanpa batas memungkinkan Anda mengelola dan membagikan tabel Apache Iceberg di seluruh Google Cloud dan mesin open source dengan menyimpan metadata tabel, termasuk skema, snapshot, dan lokasi penyimpanan, di katalog runtime Lakehouse.
Untuk menyelesaikan panduan memulai ini, lakukan langkah-langkah berikut di konsolGoogle Cloud :
- Membuat bucket Cloud Storage: Buat bucket di Cloud Storage untuk menyimpan data tabel Iceberg dan file metadata Anda.
- Membuat katalog: Buat katalog multi-bucket di katalog runtime Lakehouse yang didukung oleh bucket Anda dengan mengaktifkan penyediaan kredensial.
- Membuat namespace dan tabel Iceberg: Gunakan halaman Lakehouse di konsol Google Cloud untuk membuat namespace dan tabel Iceberg dengan bahasa pengolahan data (DML) BigQuery diaktifkan.
- Mengubah data dan mengkueri tabel di BigQuery: Gunakan pernyataan DML BigQuery (
INSERT,UPDATE, danDELETE) untuk mengubah baris dalam tabel Iceberg dan mengkueri hasilnya menggunakan sintaksis 4 bagian P.C.N.T (Project.Catalog.Namespace.Table), tanpa memerlukan ETL atau pendaftaran tabel manual.
Sebelum memulai
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Make sure that you have the following role or roles on the project: BigLake Admin (
roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
- Click Grant access.
-
In the New principals field, enter your user identifier. This is typically the email address for a Google Account.
- Click Select a role, then search for the role.
- To grant additional roles, click Add another role and add each additional role.
- Click Save.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Make sure that you have the following role or roles on the project: BigLake Admin (
roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
- Click Grant access.
-
In the New principals field, enter your user identifier. This is typically the email address for a Google Account.
- Click Select a role, then search for the role.
- To grant additional roles, click Add another role and add each additional role.
- Click Save.
-
Membuat bucket Cloud Storage
Buat bucket Cloud Storage di konsol Google Cloud untuk menyimpan data tabel Iceberg dan file metadata Anda:
Di konsol Google Cloud , buka halaman Buckets Cloud Storage.
Klik Create.
Di bagian Get started, masukkan nama bucket yang unik secara global (misalnya,
lakehouse-quickstart-UNIQUE_IDatauPROJECT_ID-lakehouse), lalu klik Continue.Di bagian Choose where to store your data, biarkan Location type ditetapkan ke Multi-region (us (multiple regions in United States)), lalu klik Create.
Jika dialog Public access will be prevented muncul, klik Confirm.
Membuat katalog di katalog runtime Lakehouse
Buat katalog multi-bucket di katalog runtime Lakehouse untuk tabel Apache Iceberg Anda. Katalog multi-bucket memungkinkan Anda memberi nama katalog secara independen dari nama bucket mana pun dan mengaitkan beberapa bucket Cloud Storage dengan satu katalog. Untuk mengamankan akses ke bucket ini, aktifkan mode pemberian kredensial sementara agar katalog dapat otomatis menerbitkan kredensial penyimpanan sementara langsung ke mesin klien Anda.
Di konsol Google Cloud , buka halaman Lakehouse.
Klik Create catalog, lalu pilih katalog runtime Lakehouse.
Di bagian Catalog type and source, konfigurasikan setelan berikut:
- Catalog type: Pilih Iceberg Rest Catalog.
- Lakehouse catalog bucket options: Pilih Multiple bucket catalog.
- Default Catalog Cloud Storage path: Klik Browse, pilih bucket yang Anda buat, lalu klik Select.
- ID Katalog: Masukkan
quickstart_catalog. - Primary location: Pilih Multi-region, lalu pilih US (multiple regions in United States). Kolom Jurisdiction diisi secara otomatis berdasarkan bucket.
Klik Continue, lalu di bagian Jalur data, klik Continue.
Di bagian Metode autentikasi, pilih Credential vending mode.
Dengan penyediaan kredensial, katalog akan menerbitkan token penyimpanan sementara yang tercakup dalam tabel dengan aman ke mesin klien dan BigQuery, sehingga mesin eksternal tidak memerlukan izin IAM langsung di bucket Anda.
Klik Create.
Katalog Anda akan dibuat dan halaman Catalog details akan terbuka.
Di bagian Metode autentikasi, klik Set bucket permissions (atau Set permissions for buckets jika katalog Anda mencakup beberapa bucket), lalu dalam dialog, klik Confirm.
Langkah ini memberikan izin yang diperlukan kepada akun layanan katalog di bucket Cloud Storage Anda untuk menjual kredensial sementara.
Membuat namespace dan tabel Iceberg
Setelah memiliki katalog, gunakan halaman Lakehouse di konsolGoogle Cloud untuk membuat namespace dan tabel Iceberg.
Buat namespace
Di halaman Catalog details untuk
quickstart_catalog, klik Create namespace.Di kolom Namespace name, masukkan
quickstart_namespace.Biarkan Location ditetapkan ke jalur Cloud Storage default yang otomatis diisi di kolom.
Klik Create.
Membuat tabel Iceberg
Di halaman Catalog details, klik
quickstart_namespace.Halaman Namespace details akan terbuka.
Klik Create Table.
Di panel Create table, konfigurasi setelan berikut:
- Table format: Pastikan Iceberg dipilih.
- Table name: Masukkan
quickstart_table. - Location: Biarkan jalur Cloud Storage default.
Di bagian Schema, klik Add field dua kali untuk menambahkan dua kolom ke tabel:
- Untuk kolom pertama, di kolom Field name, masukkan
id, dan dari menu Type, pilih INTEGER. - Untuk kolom kedua, di kolom Field name, masukkan
name, dan dari menu Type, pilih STRING.
- Untuk kolom pertama, di kolom Field name, masukkan
Di bagian Properties, temukan properti
gcp.biglake.bigquery-dml.enabledyang telah ditetapkan dan ubah Value-nya darifalsemenjaditrue. Biarkangcp.biglake.table-management.enabledditetapkan kefalse.Dengan menetapkan
gcp.biglake.bigquery-dml.enabledketrue, Anda dapat mengubah data dalam tabel Iceberg menggunakan pernyataan DML BigQuery sepertiINSERT,UPDATE,DELETE, danMERGE. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi opsi tabel.Klik Create.
Tabel Iceberg baru Anda (
quickstart_table) akan muncul di halaman Namespace details, dan katalog runtime Lakehouse akan menulis file metadata Iceberg awal ke bucket Cloud Storage Anda.
Mengubah data dan membuat kueri tabel di BigQuery
Setelah quickstart_table dibuat dan DML BigQuery diaktifkan, Anda dapat
menyisipkan, memperbarui, menghapus, dan mengkueri baris langsung di BigQuery menggunakan
sintaksis 4 bagian P.C.N.T (Project.Catalog.Namespace.Table). Dalam setiap
pernyataan, ganti PROJECT_ID dengan project ID
Google Cloud Anda:
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, klik Kueri SQL.
Untuk menyisipkan data sampel, masukkan pernyataan berikut ke dalam editor kueri, lalu klik Run:
INSERT INTO `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` (id, name) VALUES (1, 'one'), (2, 'two'), (3, 'three');
Setelah pernyataan
INSERTselesai, BigQuery akan menulis file data Parquet ke bucket Cloud Storage Anda dan meng-commit snapshot Iceberg baru ke katalog runtime Lakehouse.Untuk mengubah baris dalam tabel, masukkan pernyataan berikut ke dalam editor kueri, lalu klik Run:
UPDATE `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` SET name = 'updated' WHERE id = 1;
Untuk menghapus baris dari tabel, masukkan pernyataan berikut ke editor kueri, lalu klik Run:
DELETE FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` WHERE id = 3;
Untuk mengkueri tabel dan memverifikasi perubahan Anda, masukkan pernyataan berikut ke editor kueri, lalu klik Run:
SELECT * FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` ORDER BY id;
Panel Query results menampilkan dua baris yang tersisa, termasuk nilai yang diperbarui untuk
id = 1:+----+---------+ | id | name | +----+---------+ | 1 | updated | | 2 | two | +----+---------+
Karena katalog runtime Lakehouse mengelola metadata Iceberg
dan penjualan kredensial diaktifkan, Anda juga dapat membaca dari atau menulis ke
quickstart_table menggunakan mesin open source yang kompatibel dengan Iceberg, seperti
Apache Spark, Trino, atau Apache Flink, tanpa memberi mereka
akses IAM langsung ke bucket Anda.
Pembersihan
Agar akun Google Cloud Anda tidak dikenai biaya yang tidak perlu, hapus resource yang Anda buat dalam panduan memulai ini. Menghapus tabel, namespace, dan katalog akan menghapus pendaftaran metadata dari katalog runtime Lakehouse, sedangkan menghapus bucket akan menghapus data Parquet dan file metadata Iceberg yang mendasarinya yang disimpan di Cloud Storage:
Di konsol Google Cloud , buka halaman Lakehouse.
Hapus tabel dari katalog Anda:
- Klik
quickstart_catalog, lalu klikquickstart_namespace. - Di baris untuk
quickstart_table, klik Tindakan > Hapus. - Dalam dialog konfirmasi, masukkan
deleteuntuk mengonfirmasi, lalu klik Delete.
- Klik
Hapus namespace dari katalog Anda:
- Kembali ke halaman Catalog details untuk
quickstart_catalog. - Di baris untuk
quickstart_namespace, klik Tindakan namespace lainnya > Hapus. - Dalam dialog konfirmasi, masukkan
deleteuntuk mengonfirmasi, lalu klik Delete.
- Kembali ke halaman Catalog details untuk
Menghapus katalog Anda:
- Kembali ke halaman Lakehouse.
- Di baris untuk
quickstart_catalog, klik Tindakan katalog lainnya > Hapus. - Dalam dialog konfirmasi, masukkan
deleteuntuk mengonfirmasi, lalu klik Delete.
Hapus bucket Cloud Storage Anda dan semua isinya:
Buka halaman Bucket Cloud Storage.
Centang kotak di samping bucket yang Anda buat untuk panduan memulai ini, lalu klik Delete.
Dalam dialog konfirmasi, masukkan
DELETEuntuk mengonfirmasi, lalu klik Delete.
Langkah berikutnya
- Coba Membuat dan mengkueri tabel Iceberg menggunakan panduan memulai Google Cloud CLI.
- Pelajari cara mengubah data dengan pernyataan DML BigQuery dan mengonfigurasi opsi tabel.
- Coba Codelab menyiapkan akses data lintas cloud untuk mengkueri data di Amazon Web Services (AWS), AlloyDB untuk PostgreSQL, dan Cloud Storage tanpa ETL.
- Pelajari katalog beberapa bucket dan endpoint katalog REST Apache Iceberg.
- Pelajari cara mengelola katalog di katalog runtime Lakehouse.
- Pelajari tabel Apache Iceberg yang dikelola oleh Lakehouse.