Mengelola referensi menggunakan Data Catalog

Halaman ini menjelaskan cara Anda dapat menelusuri dan mengelola resource Spanner menggunakan Data Catalog.

Perhatian: Data Catalog tidak digunakan lagi dan digantikan oleh Dataplex Universal Catalog. Dataplex Universal Catalog juga terintegrasi dengan Spanner, yang menawarkan kemampuan serupa. Anda dapat menggunakan Dataplex Universal Catalog untuk memperkaya data Anda dengan aspek, yang setara dengan tag Data Catalog. Untuk informasi selengkapnya, lihat Mengelola aspek dan memperkaya metadata.

Data Catalog adalah layanan pengelolaan metadata yang skalabel dan terkelola sepenuhnya dalam Dataplex Universal Catalog. Fitur ini secara otomatis membuat katalog metadata berikut tentang instance, database, tabel, kolom, dan tampilan Spanner:

• Nama dan nama yang sepenuhnya memenuhi syarat
• Lokasi (wilayah)
• Tanggal pembuatan dan tanggal terakhir diubah
• Skema (untuk tabel dan tampilan)
• Deskripsi

Metadata Spanner disinkronkan secara otomatis ke Data Catalog pada interval reguler, biasanya setiap beberapa jam. Anda dapat menggunakan Data Catalog untuk menemukan dan memahami metadata Spanner Anda. Gunakan Data Catalog untuk membantu aktivitas berikut:

• Analisis, termasuk dependensi dan kesesuaian untuk kasus penggunaan
• Manajemen perubahan
• Perpindahan data (pipeline)
• Evolusi skema

Dengan Data Catalog, Anda dapat mengelola metadata dengan melampirkan tag ke entri metadata Spanner. Setiap tag dapat memiliki beberapa kolom metadata, dan dapat didasarkan pada template tag standar atau kustom.

Misalnya, Anda dapat melampirkan tag berikut ke kolom yang berisi nomor jaminan sosial, yang merupakan informasi identitas pribadi (PII):

pii:true
pii_type:SSN

Saat Anda memindahkan instance yang menggunakan tag, tag tidak akan otomatis dipindahkan ke instance tujuan. Sebagai gantinya, Anda perlu mengekspor tag dari instance sumber sebelum memindahkan instance, dan mengimpor tag ke instance tujuan. Untuk mengetahui informasi selengkapnya, lihat Mengekspor dan mengimpor tag.

Untuk mempelajari Data Catalog lebih lanjut, lihat Apa itu Data Catalog.

Catatan: Data Catalog merujuk ke resource di Spanner dan di layanan Google Cloud lainnya sebagai aset. Di halaman ini, kami menyebut resource Spanner—instance, database, tabel, dan tabel virtual—sebagai aset Spanner. Kami juga menggunakan istilah aset untuk merujuk pada resource dan metadata Data Catalog untuk resource tersebut.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktifkan Data Catalog API untuk project.

   Aktifkan Data Catalog API

2. Periksa izin.

   Anda memerlukan peran dan izin Identity and Access Management (IAM) tertentu untuk menelusuri dan melampirkan tag ke aset Spanner. Untuk mengetahui detailnya, lihat Peran dan izin IAM yang diperlukan untuk Data Catalog.

Membuat template tag

Template tag adalah struktur yang dapat digunakan kembali dan dapat Anda gunakan untuk membuat tag baru dengan cepat. Template membantu Anda menghindari duplikasi pekerjaan dan tag yang tidak lengkap. Buat template tag sebanyak yang Anda butuhkan.

Untuk mempelajari lebih lanjut, lihat Tag dan template tag.

Melampirkan tag ke aset Spanner

Dengan melampirkan tag ke aset Spanner, Anda dapat melakukan hal berikut:

• Tambahkan metadata bisnis ke aset.
• Telusuri aset berdasarkan metadata bisnis dan metadata kustom lainnya.

Untuk mempelajari lebih lanjut, lihat Tag dan template tag.

Menelusuri aset Spanner

Gunakan halaman penelusuran Dataplex Universal Catalog di Google Cloud konsol untuk menelusuri aset Spanner.

1. Buka halaman penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

2. Di panel Filter, di bagian Sistem, pilih Spanner.

   Dataplex Universal Catalog menampilkan semua aset Spanner yang diketahui.

3. Opsional: Lakukan salah satu tindakan berikut untuk mempersempit penelusuran:

   • Gunakan penelusuran berfaset di halaman Penelusuran. Pilih kotak centang di bagian Jenis data, Project, dan Tag.

   • Di kolom penelusuran, tambahkan parameter penelusuran setelah system=cloud_spanner. Pisahkan parameter dengan spasi.

   Misalnya, untuk melihat hanya database, masukkan teks berikut di kolom penelusuran, lalu tekan Enter.

    system=cloud_spanner type=database
   

   Catatan: Untuk menelusuri instance Spanner, gunakan type=service. Untuk menelusuri konfigurasi instance, gunakan instance_config=configuration-name.

   Anda juga dapat menggunakan tanda kurung dan operator logis and dan or untuk ekspresi yang kompleks. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran Data Catalog.

4. Di tabel hasil, klik nama aset untuk melihat metadata aset tersebut.

5. Opsional: Lakukan salah satu tindakan berikut:

   • Klik TAMBAHKAN RINGKASAN untuk menambahkan deskripsi teks kaya aset.
   • Klik LAMPIRKAN TAG untuk menambahkan tag ke aset.
   • Untuk tabel, klik tab SCHEMA untuk melihat kolom tabel.
   • Untuk instance (SERVICE), guna melihat database anggota, klik tab ENTRY LIST, lalu klik VIEW CHILD ENTRIES IN SEARCH. (Jika tab ENTRY LIST tidak muncul, berarti instance tidak memiliki database.)

Contoh alur kerja - Melihat perincian dari instance ke kolom

Dalam alur kerja contoh ini, Anda akan memulai dengan menelusuri instance Spanner, lalu melihat database anggota, kemudian melihat tabel dalam database tersebut, dan kemudian melihat kolom dalam tabel.

1. Buka halaman penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

2. Di panel Filter, di bagian Sistem, pilih Spanner.

3. Untuk melihat semua instance Spanner di Data Catalog, centang kotak Layanan di bagian Jenis data, atau masukkan teks berikut di kolom penelusuran, lalu tekan Enter.

   system=cloud_spanner type=service
   

4. Pilih nama instance.

5. Di halaman Spanner service details, klik tab ENTRY LIST, lalu klik VIEW CHILD ENTRIES IN SEARCH.

   Dataplex Universal Catalog menampilkan database di instance.

   Catatan: Jika tidak ada tab ENTRY LIST, kembali ke halaman Search dan pilih instance lain.

6. Di halaman Spanner database details, klik tab ENTRY LIST, lalu klik VIEW CHILD ENTRIES IN SEARCH.

   Dataplex Universal Catalog menampilkan tabel dalam database.

7. Pilih nama tabel, lalu di halaman Spanner table details, klik SCHEMA untuk melihat kolom tabel.

8. Opsional: Untuk menambahkan tag ke kolom, klik tanda plus di bagian Tag kolom.

Catatan: Alur kerja ini menunjukkan penelusuran dari instance ke tabel. Anda dapat langsung membuka daftar tabel menggunakan panel Filter atau dengan memasukkan system=cloud_spanner,type=table di kolom penelusuran.

Mengekspor dan mengimpor tag

Saat Anda memindahkan instance Spanner, proses pemindahan akan menghapus tag instance yang Anda buat di Data Catalog. Untuk mempertahankan tag, Anda harus melakukan hal berikut:

• Kueri tag yang terkait dengan instance.
• Salin detail untuk tag.
• Buat tag di instance yang dipindahkan.

Spanner menyinkronkan data setiap 6 jam. Setiap perubahan metadata yang dilakukan pada aset Spanner seperti instance, database, tabel, tampilan, atau kolom dapat memerlukan waktu sekitar 6 jam untuk disebarkan ke Data Catalog.

Mengekspor tag dari konfigurasi instance sumber

Untuk mencantumkan tag untuk instance (entri atau grup entri), gunakan perintah Google Cloud CLI gcloud data-catalog tags list sebagai berikut:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Ganti kode berikut:

• PROJECT: Project yang berisi tag.
• LOCATION: Lokasi untuk tag.
• API_KEY: String unik yang memungkinkan Anda mengakses API.
• ACCESS_TOKEN: Token akses yang digunakan aplikasi Anda untuk mengautentikasi ke layanan.

Mengimpor tag ke konfigurasi tujuan

Sebelum Anda menyelesaikan prosedur ini, lakukan hal berikut:

• Pindahkan instance.
• Perbarui Data Catalog dengan metadata.

Untuk menyalin tag, buat tag di instance yang dipindahkan menggunakan perintah gcloud data-catalog tags create sebagai berikut:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Ganti kode berikut:

• FQN: Nama resource yang sepenuhnya memenuhi syarat (FQN). Nama lengkap memiliki dua bentuk:

  Untuk resource yang tidak teregionalisasi: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Untuk resource yang dilokalkan: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Contoh untuk tabel DPMS:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: Lokasi tempat pencarian dilakukan.

• PROJECT: Project tempat pencarian dilakukan.

• API_KEY: String unik yang memungkinkan Anda mengakses API.

• ACCESS_TOKEN: Token akses yang digunakan aplikasi Anda untuk mengautentikasi ke layanan.

Peran dan izin IAM yang diperlukan untuk Data Catalog

Tabel berikut menunjukkan peran dan izin IAM yang diperlukan untuk berbagai operasi Data Catalog.

Catatan: Data Catalog tidak mendukung kontrol akses terperinci Spanner.

Operasi Data Catalog	Resource Spanner	Peran atau izin yang diperlukan
Membuat template tag	T/A	roles/datacatalog.tagTemplateCreator
Menelusuri resource Spanner	Instance	spanner.instances.get
	Database	spanner.databases.get
	Tabel	spanner.databases.get
	Tampilan	spanner.databases.get
Melihat tag publik	Instance	spanner.instances.get
	Database	spanner.databases.get
	Tabel	spanner.databases.get
	Tampilan	spanner.databases.get
Melihat tag pribadi	Instance	datacatalog.tagTemplates.getTag + spanner.instances.get
	Database	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabel	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tampilan	datacatalog.tagTemplates.getTag + spanner.databases.get
Melampirkan tag ke resource Spanner menggunakan template tag	Instance	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Database	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabel	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tampilan	datacatalog.tagTemplates.use + spanner.databases.updateTag

Izin spanner.instances.UpdateTag disertakan dalam peran berikut:

• roles/spanner.admin

Izin spanner.databases.UpdateTag disertakan dalam peran berikut:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Untuk mengetahui informasi selengkapnya, lihat Peran yang telah ditetapkan.

Langkah berikutnya

• Apa itu Data Catalog
• Peran untuk menelusuri Google Cloud resource
• Tentang kontrol akses terperinci