Melihat silsilah di Knowledge Catalog

Halaman ini menjelaskan cara melihat silsilah data yang dihasilkan oleh pipeline Cloud Data Fusion Anda dengan pergerakan data lainnya di Google Cloud, untuk tujuan penemuan dan tata kelola. Anda dapat melihat diagram silsilah untuk sumber data yang didukung di halaman Knowledge Catalog di konsol, atau menggunakan Data Lineage API untuk mengambil catatan silsilah data lengkap.

Plugin yang mendukung silsilah data Katalog Pengetahuan

Cloud Data Fusion dan Knowledge Catalog mendukung silsilah tingkat aset untuk plugin berikut:

• Amazon S3
• BigQuery
• Tujuan BigQuery Multi Table (versi 6.9.1 dan yang lebih baru)
• Spanner
• Cloud Storage
• Cloud SQL untuk MySQL
• Cloud SQL untuk PostgreSQL
• Katalog Pengetahuan
• FTP
• Database Umum
• HTTP
• MSSQL/SQL Server
• Sumber Beberapa Tabel Database (versi 6.9.1 dan yang lebih baru)
• MySQL
• Oracle
• PostgreSQL
• SAP OData
• SAP ODP
• Tabel SAP

Untuk mengetahui informasi selengkapnya, lihat Plugin Cloud Data Fusion.

Sebelum memulai

Untuk mengaktifkan penayangan grafik silsilah Cloud Data Fusion di halaman Knowledge Catalog di konsol, lakukan hal berikut:

1. Buat pipeline data yang hanya menggunakan plugin yang didukung.

2. Aktifkan Data Lineage API di project yang berisi instance Cloud Data Fusion Anda.

3. Berikan peran Data Lineage Events Producer (roles/datalineage.producer) ke akun layanan yang dikelola Cloud Data Fusion, yaitu Cloud Data Fusion API Service Agent. Prosesnya bervariasi jika instance Anda berjalan di Cloud Data Fusion versi yang lebih lama dan RBAC diaktifkan.

   6.10+ atau tanpa RBAC

   Jika instance Cloud Data Fusion Anda menggunakan versi 6.10.0 atau yang lebih baru, atau instance Anda menggunakan versi yang lebih lama dan RBAC tidak diaktifkan, ikuti langkah-langkah berikut:

   1. Di konsol Google Cloud , buka halaman IAM.

      Buka IAM

   2. Centang kotak Include Google-provided role grants.

   3. Pilih akun layanan Agen Layanan Cloud Data Fusion API, lalu klik Edit.

   4. Klik Tambahkan peran lain, lalu pilih peran Data Lineage Events Producer.

   5. Klik Simpan.

   <6.10 dengan RBAC

   Jika instance Cloud Data Fusion Anda menggunakan versi sebelum 6.10.0 dan RBAC diaktifkan, akun layanan tidak akan muncul dalam daftar prinsipal di halaman IAM. Anda harus memasukkan nama akun layanan secara manual.

   Untuk memberikan peran yang diperlukan, ikuti langkah-langkah berikut:

   1. Di konsol Google Cloud , buka halaman IAM.

      Buka IAM

   2. Klik Grant access.

   3. Di kolom New principals, masukkan akun layanan Agen Layanan Cloud Data Fusion API. Gunakan format berikut: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.

      Ganti TENANT_PROJECT_ID dengan ID tenant untuk instance Anda. Untuk melihat ID project tenant, buka halaman Instances, lalu klik nama instance untuk melihat detail instance.

      Buka Instances

   4. Pilih peran Data Lineage Events Producer.

   5. Klik Simpan.

Mengaktifkan silsilah data Knowledge Catalog di Cloud Data Fusion

Untuk instance baru di Cloud Data Fusion, silsilah data Knowledge Catalog dinonaktifkan secara default. Jika Anda membuat instance sebelum 27 Januari 2024 dengan versi 6.8.0 atau yang lebih baru, instance akan diaktifkan secara default setelah menyelesaikan langkah-langkah di Sebelum Anda memulai.

Mengaktifkan silsilah data Knowledge Catalog saat Anda membuat instance

Konsol

Untuk mengaktifkan asal data Knowledge Catalog saat Anda membuat instance, ikuti langkah-langkah berikut:

1. Buka halaman Instances Cloud Data Fusion, lalu klik Create an instance.

   Membuat instance

2. Saat mengonfigurasi instance, luaskan bagian Opsi lanjutan, lalu klik Aktifkan integrasi dengan silsilah data Dataplex. Untuk mengetahui informasi selengkapnya tentang cara membuat instance, lihat Membuat instance publik.

REST API

Untuk mengaktifkan silsilah data Knowledge Catalog saat Anda membuat instance, tetapkan properti dataplex_data_lineage_integration_enabled opsional ke true:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Untuk menonaktifkannya, tetapkan properti ke salah atau hapus properti, karena silsilah dinonaktifkan secara default saat Anda membuat instance baru.

Mengaktifkan atau menonaktifkan silsilah data Knowledge Catalog di instance yang ada

Konsol

Untuk mengaktifkan atau menonaktifkan silsilah data Knowledge Catalog di instance yang ada di Cloud Data Fusion, ikuti langkah-langkah berikut:

1. Lihat detail instance:

   1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

   2. Klik Instance, lalu klik nama instance untuk membuka halaman Instance details.

      Buka Instance

2. Di kolom Dataplex data lineage integration, klik Edit.
3. Aktifkan atau nonaktifkan asal data Katalog Pengetahuan, lalu klik Simpan.

REST API

Untuk mengaktifkan silsilah data Knowledge Catalog di instance yang ada di Cloud Data Fusion, tetapkan properti dataplex_data_lineage_integration_enabled ke true dan sertakan nilai parameter updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Untuk menonaktifkan silsilah data Knowledge Catalog di instance yang ada di Cloud Data Fusion, tetapkan properti dataplex_data_lineage_integration_enabled ke false dan sertakan nilai parameter updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Melihat grafik silsilah data

Untuk melihat grafik silsilah entity di semua layanan Google Cloud , lakukan hal berikut:

1. Buka instance Anda di Cloud Data Fusion dan jalankan pipeline data yang menggunakan plugin yang didukung.

2. Lihat grafik silsilah di halaman Knowledge Catalog di konsol dan temukan aset yang silsilahnya ingin Anda lihat.

Batasan

Melihat silsilah di Knowledge Catalog memiliki batasan berikut:

• Silsilah di Knowledge Catalog hanya dapat ditemukan jika ada entitas BigQuery yang terhubung ke plugin yang didukung. Untuk mengetahui informasi selengkapnya tentang kapan grafik silsilah data tersedia, lihat Tentang silsilah data.

• Data Lineage API tidak mendukung kunci enkripsi yang dikelola pelanggan (CMEK).

• Cloud Data Fusion tidak mendukung fitur ini di lokasi me-central1 atau europe-west12.

• Tinjau pertimbangan silsilah data.

Peringatan: Knowledge Catalog menggunakan alamat IP untuk membentuk nama yang sepenuhnya memenuhi syarat yang secara unik mengidentifikasi sumber dan tujuan (seperti tujuan Database) untuk menampilkan silsilah. Jika Anda harus mencegah berbagi informasi alamat IP atau nama host, jangan aktifkan integrasi silsilah data Knowledge Catalog.

Langkah berikutnya

• Pelajari lebih lanjut silsilah data.