Mengelola aset data di data lake

Halaman ini menjelaskan cara menambahkan, mengupgrade, dan menghapus bucket Cloud Storage dan set data BigQuery sebagai aset di zona Dataplex Universal Catalog yang ada.

Ringkasan

Aset dipetakan ke data yang disimpan di Cloud Storage atau BigQuery. Anda dapat memetakan data yang disimpan di Google Cloud project terpisah sebagai aset ke dalam satu zona dalam data lake. Anda dapat melampirkan bucket Cloud Storage atau set data BigQuery yang ada untuk dikelola dari dalam data lake.

Catatan: Aset terlampir tidak dapat dikelola oleh zona data atau data lake lain.

Sebelum memulai

• Jika Anda belum melakukannya, buat lake dan zona di lake tersebut.

• Sebagian besar perintah gcloud lakes memerlukan lokasi. Anda dapat menentukan lokasi menggunakan flag --location.

Peran dan izin yang diperlukan

Untuk mengelola aset di Dataplex Universal Catalog, izin diperlukan agar pengguna dapat melakukan tindakan pengelolaan, dan agar akun layanan Dataplex Universal Catalog dapat mengakses resource pokok.

Untuk menambahkan atau menghapus aset, pengguna harus diberi peran IAM yang berisi izin yang diperlukan (seperti dataplex.assets.create dan dataplex.assets.delete). Peran bawaan Admin Dataplex (roles/dataplex.admin) dan Editor Dataplex (roles/dataplex.editor), atau peran lama Pemilik (roles/owner) dan Editor (roles/editor), menyertakan izin ini.

Saat Anda melampirkan resource (bucket Cloud Storage atau set data BigQuery) ke data lake, Dataplex Universal Catalog menggunakan akun layanannya untuk berinteraksi dengan resource tersebut.

• Jika resource berada dalam project yang sama dengan lake, izin diberikan secara implisit ke akun layanan.
• Jika resource berada di project yang berbeda dengan lake, Anda harus memberikan izin akun layanan secara eksplisit untuk mengakses resource tersebut, seperti yang dijelaskan di bagian berikut.

Untuk mengetahui informasi selengkapnya, lihat IAM dan kontrol akses Dataplex Universal Catalog.

Memberi peran untuk bucket Cloud Storage

Untuk melampirkan bucket Cloud Storage dari project lain, berikan izin akun layanan Dataplex Universal Catalog ([e-mail]) dengan salah satu cara berikut:

• Izin tingkat project: beri peran roles/dataplex.serviceAgent ke akun layanan di project yang berisi bucket. Hal ini memberikan izin administrator pada semua bucket di project kepada Dataplex Universal Catalog, sehingga memungkinkan Dataplex Universal Catalog mengelola izin pada bucket yang terlampir.

• Izin tingkat bucket: untuk kontrol yang lebih terperinci, gunakan perintah gcloud dataplex lakes authorize untuk memberikan izin yang diperlukan akun layanan hanya pada bucket tertentu.

Memberi peran untuk set data BigQuery

Untuk melampirkan set data BigQuery dari project lain, berikan peran BigQuery Administrator (roles/bigquery.admin) kepada akun layanan Dataplex Universal Catalog (roles/bigquery.admin) di set data.

Pertimbangan Kontrol Layanan VPC

Dataplex Universal Catalog tidak melanggar perimeter Kontrol Layanan VPC. Sebelum menambahkan aset ke lake, pastikan bucket atau set data pokok berada di jaringan Kontrol Layanan VPC yang sama dengan lake.

Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC dengan Dataplex Universal Catalog.

Menambahkan aset

Catatan: Anda dapat membuat beberapa aset di zona data secara bersamaan. Anda dapat terus menggunakan zona data saat aset ditambahkan.

Jika tidak ada tumpang-tindih antara region data lake Dataplex Universal Catalog dan salah satu region bucket Cloud Storage, Anda tidak dapat menambahkan bucket ke zona di data lake.

Untuk mempelajari lebih lanjut lokasi region aset Cloud Storage dan cara Dataplex Universal Catalog menangani lokasi bucket saat membuat set data publikasi, lihat Resource regional.

Untuk menambahkan aset, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik lake yang ingin Anda tambahi bucket Cloud Storage atau set data BigQuery. Halaman lake akan terbuka.

3. Di tab Zones, klik nama zona data yang ingin Anda tambahi aset. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Di tab Aset, klik + Tambahkan Aset. Halaman Tambahkan aset akan terbuka.

5. Klik Tambahkan Aset.

6. Di kolom Type, pilih BigQuery dataset atau Cloud Storage bucket.

7. Di kolom Nama tampilan, masukkan nama untuk aset baru.

8. Di kolom ID, masukkan ID unik untuk aset.

9. Opsional: Masukkan Deskripsi..

10. Di kolom Dataset atau Bucket (berdasarkan jenis aset Anda), klik Telusuri untuk menemukan dan memilih bucket Cloud Storage atau set data BigQuery Anda.

11. Opsional: Jika jenis aset Anda adalah bucket Cloud Storage dan jika Anda ingin Dataplex Universal Catalog mengelola aset, centang kotak Upgrade to Managed. Jika memilih opsi ini, Anda tidak perlu mengupgrade aset secara terpisah. Opsi ini tidak tersedia untuk set data BigQuery.

12. Klik Lanjutkan.

13. Pilih nilai parameter lainnya. Untuk mengetahui informasi selengkapnya tentang setelan keamanan, lihat Keamanan lake.

14. Klik Kirim.

15. Pastikan Anda telah kembali ke halaman zona data, dan aset baru Anda muncul di daftar aset.

REST

Untuk menambahkan aset, gunakan metode lakes.zones.assets.create.

Jika penambahan berhasil, zona data akan otomatis memasuki status aktif. Jika gagal, zona data akan di-roll back ke status sehat sebelumnya.

Mengupgrade aset bucket Cloud Storage

Saat Anda menambahkan aset jenis bucket Cloud Storage, Dataplex Universal Catalog akan otomatis memublikasikan tabel eksternal BigQuery untuk tabel yang dihosting di aset tersebut.

Saat Anda mengupgrade aset bucket Cloud Storage, Dataplex Universal Catalog akan menghapus tabel eksternal yang terlampir dan membuat tabel BigLake. Tabel BigLake mendukung keamanan yang lebih mendetail, termasuk penyamaran data dinamis, tingkat baris, dan tingkat kolom.

Catatan: Data tidak terstruktur berjenis Fileset di bucket Cloud Storage, yang ditandai sebagai Managed dipublikasikan sebagai tabel objek BigQuery.

Untuk mengupgrade aset bucket Cloud Storage, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik nama danau. Halaman lake akan terbuka.

3. Di tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Aset, klik nama aset yang ingin Anda upgrade.

5. Klik Upgrade ke Managed.

REST

Untuk mengupgrade aset bucket, gunakan metode lakes.zones.assets.patch.

Menurunkan versi aset bucket Cloud Storage

Saat Anda menurunkan versi aset bucket Cloud Storage, Dataplex Universal Catalog akan menghapus tabel BigLake yang terlampir dan membuat tabel eksternal.

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik nama danau. Halaman lake akan terbuka.

3. Di tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Aset, klik nama aset yang ingin Anda upgrade.

5. Klik Turunkan versi dari Dikelola.

REST

Untuk menurunkan versi aset bucket, gunakan metode lakes.zones.assets.patch. Pastikan Anda menetapkan kolom readAccessMode ke DIRECT di ResourceSpec.

Menghapus aset

Hapus aset dari zona atau lake data sebelum melampirkannya ke zona atau lake data yang berbeda.

Catatan: Bucket Cloud Storage Anda tidak akan dihapus saat Anda menghapusnya dari zona atau lake data. Anda harus menghapusnya secara eksplisit, jika diperlukan.

Untuk menghapus aset, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik lake tempat Anda ingin menghapus bucket Cloud Storage atau set data BigQuery. Halaman lake untuk lake tersebut akan terbuka.

3. Di tab Zona, klik nama zona data yang ingin Anda hapus bucket Cloud Storage atau set data BigQuery-nya. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Di tab Aset, pilih aset dengan mencentang kotak di sebelah kiri nama aset.

5. Klik Hapus Aset.

6. Pada dialog konfirmasi, klik Delete.

REST

Untuk menghapus bucket, gunakan metode lakes.zones,assets.delete.

Langkah berikutnya

• Pelajari lebih lanjut cara menemukan data.
• Pelajari cara membuat danau.
• Pelajari Cloud Audit Logs lebih lanjut.