Menambahkan metadata ke tabel BigQuery

Menambahkan metadata ke tabel BigQuery

Pelajari cara memulai pengelolaan metadata di Dataplex Universal Catalog.

Panduan memulai ini menunjukkan cara menambahkan metadata ke tabel BigQuery. Dalam panduan memulai ini, Anda akan melakukan hal berikut:

1. Buat set data dan tabel BigQuery berdasarkan set data publik.

2. Buat template yang menentukan sekumpulan kolom metadata terkait.

   Template ini disebut jenis aspek. Kumpulan kolom metadata terkait, yang menjelaskan metadata bisnis dan teknis untuk aset data Anda, disebut aspek.

3. Menambahkan metadata ke tabel.

   Di Dataplex Universal Catalog, setiap aset data ditampilkan sebagai entri. Untuk melampirkan metadata ke aset data, Anda menambahkan aspek ke entri.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna menambahkan metadata ke tabel BigQuery, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Dataplex Catalog Admin (roles/dataplex.catalogAdmin)
• BigQuery Data Owner (roles/bigquery.dataOwner)
• BigQuery Job User (roles/bigquery.jobUser)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat set data dan tabel

1. Di konsol Google Cloud , buka halaman BigQuery Studio.

   Buka BigQuery Studio

2. Membuat set data:

   1. Di panel kiri, klik Explorer:

      

      Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

   2. Di panel Explorer, temukan project Anda. Klik View actions, lalu klik Create dataset.

   3. Di kolom Dataset ID, masukkan catalog_demo_dataset.

      Pertahankan nilai default untuk kolom lainnya.

   4. Klik Create dataset.

3. Menyalin tabel publik ke set data Anda:

   1. Di panel Explorer, telusuri tabel bernama bigquery-public-data.new_york_citibike.citibike_stations. Anda mungkin perlu menetapkan cakupan penelusuran untuk menyertakan project bigquery-public-data.

      Tabel ini adalah bagian dari set data Perjalanan NYC Citi Bike, sebuah set data publik yang berisi data tentang program berbagi sepeda.

   2. Pilih tabel citibike_stations.

   3. Klik Copy. Masukkan informasi sebagai berikut:

      • Project: pilih project Anda.
      • Dataset: pilih catalog_demo_dataset.
      • Table: masukkan bike_stations.

   4. Klik Copy.

4. Di panel Explorer, cari set data catalog_demo_dataset, dan pastikan tabel bike_stations tercantum dalam set data.

Menentukan template metadata: membuat jenis aspek

1. Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.

   Buka Katalog

2. Klik tab Jenis aspek & template tag, lalu klik tab Kustom.

3. Klik Create aspect type.

4. Di kolom ID jenis aspek, masukkan data-governance-demo.

5. Untuk Location, pilih global.

6. Di bagian Template, klik Add field. Gunakan informasi dalam tabel berikut untuk menambahkan beberapa kolom ke jenis aspek:

   Nama	Jenis	Wajib diisi	Deskripsi
   source-of-data-asset	Teks	Tidak	-
   retention-date	Tanggal dan waktu	Tidak	-
   data-classification	Enum Tambahkan nilai Public, Sensitive, dan Confidential.	Ya	-
   has-pii	Boolean	Ya	Whether the data asset has personally identifiable information

7. Klik Simpan.

Menambahkan metadata ke tabel: menambahkan aspek ke entri

1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

2. Di kotak penelusuran, masukkan catalog_demo_dataset.

3. Pilih tabel bike_stations.

4. Menambahkan aspek kustom ke entri:

   1. Di bagian Tags & aspects, di samping Optional tags & aspects, klik Tambahkan.

   2. Pilih jenis aspek data-governance-demo.

      Tindakan ini akan membuat aspek yang menggunakan jenis aspek Anda sebagai template.

   3. Masukkan nilai berikut:

      • Sumber aset data: Copied from NYC Citi Bike Trips public dataset
      • Tanggal retensi: masukkan tanggal.
      • Klasifikasi data: Public
      • Memiliki PII: False

   4. Klik Simpan.

5. Untuk melihat nilai metadata yang Anda tambahkan, di bagian Tag & aspek, pilih aspek data-governance-demo.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus project

Cara termudah untuk menghentikan penagihan adalah dengan menghapus project yang Anda buat untuk panduan memulai ini.

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Jika Anda ingin menggunakan kembali project, hapus resource yang Anda buat.

1. Hapus set data:

   1. Di konsol Google Cloud , buka halaman BigQuery Studio.

      Buka BigQuery Studio

   2. Di panel kiri, klik Explorer:

      

   3. Di panel Explorer, telusuri set data catalog_demo_dataset.

   4. Klik Lihat tindakan, lalu klik Hapus. Konfirmasi saat diminta.

2. Hapus jenis aspek:

   1. Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.

      Buka Katalog

   2. Klik tab Jenis aspek & template tag, lalu klik tab Kustom.

   3. Klik jenis aspek data-governance-demo.

   4. Klik Hapus. Konfirmasi saat diminta.

Langkah berikutnya

• Pelajari lebih lanjut pengelolaan metadata.
• Pelajari cara menelusuri resource.
• Pelajari cara menggunakan aspek dan jenis aspek.