Membuat katalog

Membuat endpoint katalog (seperti endpoint katalog REST Apache Iceberg atau endpoint katalog Apache Hive) akan membuat endpoint pengelolaan dalam katalog runtime Lakehouse.

Endpoint ini mengarah ke bucket Cloud Storage yang mendasarinya, yang menyediakan lapisan metadata yang memungkinkan mesin kueri dan workload open source berinteraksi langsung dengan tabel Anda.

Saat membuat endpoint katalog untuk Lakehouse untuk Apache Iceberg, Anda dapat memilih antara kredensial pengguna akhir atau mode penyediaan kredensial untuk delegasi akses penyimpanan.

Sebelum memulai

1. Baca Tentang katalog runtime Lakehouse untuk memahami cara kerja katalog runtime Lakehouse dan batasan untuk layanan ini.
Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat katalog dan mendaftarkan tabel, minta administrator untuk memberi Anda peran IAM berikut:

• Membuat katalog:
  • Admin BigLake (roles/biglake.admin) di project Anda
  • Admin Penyimpanan (roles/storage.admin) di project Anda
• Membuat (mendaftarkan) tabel: Admin BigLake (roles/biglake.admin) di project Anda. Mendaftarkan tabel dalam katalog multi-bucket memerlukan izin pendaftaran tabel tertentu (biglake.tables.register), yang disertakan dalam peran Admin BigLake.
• Menggunakan akun layanan katalog yang disediakan otomatis dalam mode penyediaan kredensial: Pengguna Objek Penyimpanan (roles/storage.objectUser) di bucket Cloud Storage target. Setelah membuat katalog, berikan peran Pengguna Objek Penyimpanan (roles/storage.objectUser) secara eksplisit di bucket penyimpanan Anda ke akun layanan yang disediakan otomatis.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Catatan: Pembuatan akun layanan katalog yang disediakan otomatis pada akhirnya akan konsisten. Artinya, akun layanan memerlukan waktu untuk diterapkan melalui sistem. Jika Anda mencoba memberikan peran ke akun layanan segera setelah pembuatan, permintaan mungkin akan gagal. Untuk mempelajari waktu rata-rata yang diperlukan perubahan akses untuk bertransmisi, lihat Transmisi perubahan akses.

Membuat katalog

Buat katalog.

Membuat katalog

Ikuti langkah-langkah berikut untuk membuat katalog berdasarkan mode kredensial dan jenis bucket pilihan Anda. Untuk mengetahui informasi selengkapnya tentang berbagai jenis katalog, lihat Tentang endpoint katalog REST Apache Iceberg.

Konsol

Membuat katalog multi-bucket (bl://) (direkomendasikan)

Konfigurasi ini memungkinkan katalog Anda mengaitkan beberapa bucket dan memungkinkan Anda memberi nama katalog secara terpisah dari nama bucket apa pun.

1. Buka halaman Lakehouse di Google Cloud konsol.

   Buka Lakehouse

2. Klik Create catalog.

3. Untuk Catalog type, pilih Iceberg Rest Catalog.

4. Untuk Lakehouse catalog bucket options, pilih Multiple bucket catalog.

5. Untuk Default Catalog Cloud Storage path, masukkan atau telusuri jalur Cloud Storage yang akan digunakan dengan katalog Anda.

6. Untuk Catalog ID, masukkan nama kustom untuk katalog Anda.

7. Untuk Primary location, pilih lokasi. Lokasi harus berada di dekat region bucket utama.

8. Klik Lanjutkan.

9. Pada langkah Data paths, tambahkan jalur Cloud Storage tambahan jika diperlukan.

10. Klik Lanjutkan.

11. Untuk Authentication method, pilih End-user credentials atau Credential vending mode.

12. Klik Buat.

    Katalog Anda akan dibuat dan halaman Catalog details akan terbuka.

13. Jika Anda memilih Credential vending mode, lakukan langkah-langkah tambahan berikut:

    1. Di bagian Authentication method, klik Set bucket permissions.
    2. Di dialog, klik Confirm.

Membuat katalog bucket tunggal (gs://)

Perhatian: Penggunaan konfigurasi bucket tunggal sangat tidak disarankan untuk project baru. Konfigurasi ini membatasi katalog Anda ke satu bucket dan mengunci nama katalog ke nama bucket.

1. Untuk Catalog type, pilih Iceberg Rest Catalog atau Hive Metastore.
2. Untuk Lakehouse catalog bucket options, pilih Single bucket catalog.
3. Untuk Default Catalog Cloud Storage path, masukkan atau telusuri jalur Cloud Storage yang akan digunakan dengan katalog Anda. (Untuk katalog bucket tunggal (gs://), Anda hanya dapat memiliki satu katalog per bucket, dan nama katalog cocok dengan nama bucket).
4. Klik Lanjutkan.
5. Untuk Authentication method, pilih End-user credentials atau Credential vending mode.
6. Klik Buat.
7. Jika Anda memilih Credential vending mode, lakukan langkah-langkah tambahan berikut:
   1. Di bagian Authentication method, klik Set bucket permissions.
   2. Di dialog, klik Confirm.

gcloud

Membuat katalog multi-bucket (bl://) (direkomendasikan)

Konfigurasi ini memungkinkan katalog Anda mengaitkan beberapa bucket dan memungkinkan Anda memberi nama katalog secara terpisah dari nama bucket apa pun.

Untuk membuat katalog multi-bucket (bl://) (direkomendasikan), jalankan perintah gcloud biglake iceberg catalogs create.

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type biglake \
    --default-location DEFAULT_LOCATION \
    --credential-mode CREDENTIAL_MODE \
    [--restricted-locations RESTRICTED_LOCATIONS] \
    [--primary-location LOCATION]

Ganti kode berikut:

• CATALOG_NAME: nama untuk katalog Anda. Untuk katalog multi-bucket (bl://) (direkomendasikan), ini adalah nama katalog kustom Anda.
• PROJECT_ID: ID project Google Cloud Anda.
• DEFAULT_LOCATION: Tentukan lokasi penyimpanan default untuk katalog. Anda dapat menentukan bucket (gs://my-bucket) atau subjalur (gs://my-bucket/path). Semua namespace dan tabel dalam katalog harus berada di bawah jalur yang ditentukan. Misalnya, jika Anda menentukan gs://my-bucket/path, Anda tidak dapat membuat namespace atau tabel di bawah gs://my-bucket/another/path.

• CREDENTIAL_MODE: metode autentikasi. Gunakan end-user untuk Kredensial pengguna akhir atau vended-credentials untuk Mode penyediaan kredensial.

  Catatan: Jika Anda menggunakan Mode penyediaan kredensial, Anda harus memberikan peran Pengguna Objek Penyimpanan (roles/storage.objectUser) secara eksplisit di semua bucket penyimpanan terkait ke akun layanan katalog runtime Lakehouse yang disediakan otomatis di katalog Anda.

• RESTRICTED_LOCATIONS: (Opsional) Daftar lokasi penyimpanan tambahan yang diizinkan, yang dipisahkan koma, dalam format gs://my-bucket-1/...,gs://my-bucket-2/.... Jika Anda menentukan jalur (seperti gs://my-bucket/path), namespace atau tabel apa pun dalam bucket tersebut harus berada di bawah jalur tersebut. Semua lokasi Cloud Storage yang dikonfigurasi di seluruh lokasi default dan lokasi yang dibatasi harus berada dalam grup atau wilayah hukum region geografis yang sama (seperti Amerika Serikat, Eropa, Kanada, atau Asia). Misalnya, Anda tidak dapat menggabungkan bucket di AS dengan bucket di Eropa. Untuk mengetahui daftar lokasi yang didukung, lihat Lokasi Lakehouse.

  Peringatan: Hindari mengonfigurasi jalur yang tumpang-tindih dengan katalog lain untuk mencegah kredensial yang tidak sah terekspos. Untuk mengetahui informasi selengkapnya, lihat Penyimpanan di Beberapa bucket.

• LOCATION: (Opsional) Region utama untuk katalog guna memastikan interoperabilitas dengan BigQuery. Untuk bucket Cloud Storage di region AS (misalnya, US atau us-central1) atau region Uni Eropa (misalnya, EU atau europe-west4), tentukan US atau EU untuk memastikan katalog dapat diakses dan tersedia untuk kueri dari multi-region BigQuery yang sesuai. Untuk mengetahui informasi selengkapnya, lihat Region bucket dan katalog.

Membuat katalog bucket tunggal (gs://)

Perhatian: Penggunaan konfigurasi bucket tunggal sangat tidak disarankan untuk project baru. Konfigurasi ini membatasi katalog Anda ke satu bucket dan mengunci nama katalog ke nama bucket.

Untuk membuat katalog bucket tunggal (gs://), jalankan perintah berikut:

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type gcs-bucket \
    --credential-mode CREDENTIAL_MODE

Ganti kode berikut:

• CATALOG_NAME: nama untuk katalog Anda. Untuk katalog bucket tunggal (gs://), nama ini cocok dengan ID bucket Cloud Storage yang digunakan dengan katalog REST.
• PROJECT_ID: ID project Anda Google Cloud.
• CREDENTIAL_MODE: metode autentikasi. Gunakan end-user untuk Kredensial pengguna akhir atau vended-credentials untuk Mode penyediaan kredensial.

REST

Membuat katalog REST Iceberg

Untuk membuat endpoint pengelolaan katalog menggunakan REST API, buat POST permintaan ke CreateIcebergCatalog endpoint:

POST /iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs?icebergCatalogId=CATALOG_ID

Isi permintaan harus berisi payload JSON IcebergCatalog yang menentukan konfigurasi katalog, seperti gudang bucket Cloud Storage yang mendasarinya dan mode autentikasi.

Ganti kode berikut:

• PROJECT_ID: ID project Anda Google Cloud .
• CATALOG_ID: ID katalog runtime Lakehouse Anda.