Tentang kontrol penyerapan silsilah data

Untuk mengelola biaya dan kebijakan tata kelola, Anda dapat mengaktifkan atau menonaktifkan penyerapan silsilah data untuk layanan tertentu. Google Cloud Misalnya, Anda dapat menonaktifkan pengumpulan silsilah untuk project pengembangan atau workload bervolume tinggi yang tidak memerlukan pelacakan silsilah.

Integrasi layanan yang didukung

Tabel berikut mencantumkan integrasi yang mendukung kontrol penyerapan silsilah data:

Nama integrasi Dukungan kontrol penyerapan Nilai default Detail integrasi
Managed Service untuk Apache Spark: Cluster Apache Spark Ya Aktif Menggunakan silsilah data Spark
Managed Service untuk Apache Spark: Cluster Apache Hive Ya Aktif Mengaktifkan silsilah data Hive
Managed Service untuk Apache Spark: deployment serverless Ya Aktif Menggunakan asal-usul data dengan Managed Service untuk Apache Spark
BigQuery Ya Aktif Melacak silsilah untuk tabel BigQuery
Managed Service untuk Apache Airflow Ya Aktif Silsilah data dengan Knowledge Catalog
Looker (Google Cloud core) Ya (Pratinjau) Aktif Silsilah data Looker Core
Cloud Data Fusion Tidak Aktif Melihat silsilah di Knowledge Catalog
Dataflow Tidak Dinonaktifkan dari sisi Dataflow Menggunakan silsilah data di Dataflow
Vertex AI Pipelines Tidak Aktif Melacak silsilah artefak pipeline

Cara kerja kontrol penyerapan silsilah data

Anda dapat mengontrol penyerapan data di tingkat organisasi, folder, dan project serta menggabungkan setelan ini dengan konfigurasi khusus layanan untuk mendapatkan kontrol terperinci atas penyerapan silsilah data.

Katalog Pengetahuan mengevaluasi hierarki resource yang dimulai dengan project, lalu folder, kemudian organisasi untuk menentukan konfigurasi yang efektif. Konfigurasi pertama yang ditetapkan secara eksplisit di tingkat mana pun dalam penelusuran ke atas ini akan berlaku.

  • Jika Anda menetapkan konfigurasi di tingkat project, Knowledge Catalog akan menggunakannya.
  • Jika tidak ada konfigurasi yang ditetapkan di tingkat project, Knowledge Catalog akan menggunakan konfigurasi dari folder induk terdekat dengan konfigurasi eksplisit.
  • Jika tidak ada konfigurasi yang ditetapkan di tingkat project atau folder, Knowledge Catalog akan menggunakan konfigurasi tingkat organisasi.
  • Jika tidak ada konfigurasi yang ditetapkan di salah satu tingkat ini, Knowledge Catalog akan menggunakan default sistem untuk integrasi.

Untuk mengelola kontrol penyerapan secara massal, aktifkan Data Lineage API untuk semua project di dalam folder atau organisasi dengan mengikuti aturan pengaktifan layanan hierarkis. Setelah Data Lineage API diaktifkan, Anda dapat mengontrol penyerapan silsilah data secara terperinci per integrasi layanan untuk organisasi, project, atau folder tertentu.

Cara kerja konfigurasi penyerapan data untuk integrasi layanan tunggal

Skenario berikut menggambarkan cara Knowledge Catalog menyelesaikan konfigurasi penyerapan silsilah untuk satu layanan di seluruh hierarki resource.

Pertimbangkan organisasi test-org dengan konfigurasi silsilah Managed Service untuk Apache Spark berikut:

  • Organisasi test-org: Diaktifkan
    • Folder folder-a: Nonaktif
      • Project project-a: Tidak ada konfigurasi yang ditetapkan
    • Folder folder-b: Diaktifkan
      • Project project-b: Dinonaktifkan

Dalam skenario ini, setelan berikut berlaku:

  • Untuk project-a, penyerapan silsilah Dinonaktifkan. Knowledge Catalog mulai mengevaluasi dari project-a, tidak menemukan konfigurasi, beralih ke folder-a, dan menerapkan konfigurasi Dinonaktifkan dari folder-a.
  • Untuk project-b, penyerapan silsilah Dinonaktifkan. Knowledge Catalog mulai mengevaluasi dari project-b dan menerapkan konfigurasi Dinonaktifkan, yang menggantikan setelan di folder-b dan test-org.

Cara kerja konfigurasi penyerapan data untuk integrasi multi-layanan

Skenario berikut menggambarkan cara Knowledge Catalog menyelesaikan konfigurasi secara independen untuk beberapa layanan di seluruh hierarki resource.

Pertimbangkan organisasi test-org dengan konfigurasi silsilah berikut di beberapa integrasi layanan:

  • Organisasi test-org
    • Managed Service untuk Apache Spark: Diaktifkan
    • Folder folder-a
      • BigQuery: Diaktifkan
      • Project project-a
        • BigQuery: Dinonaktifkan
        • Managed Service untuk Apache Airflow: Diaktifkan
      • Project project-b: Tidak ada konfigurasi yang ditetapkan

Dalam skenario ini, Knowledge Catalog mengevaluasi setiap integrasi layanan secara independen di seluruh hierarki resource:

  • Untuk project-a:
    • Penyerapan silsilah Managed Service untuk Apache Spark Diaktifkan. Knowledge Catalog mulai mengevaluasi dari project-a, tidak menemukan konfigurasi untuk Managed Service untuk Apache Spark, beralih ke folder-a (tidak ada konfigurasi yang ditetapkan), dan menerapkan konfigurasi Diaktifkan dari test-org.
    • Penyerapan silsilah BigQuery Dinonaktifkan. Knowledge Catalog menerapkan konfigurasi tingkat project eksplisit, yang menggantikan konfigurasi Diaktifkan yang ditetapkan di folder-a.
    • Penyerapan silsilah Managed Service untuk Apache Airflow Diaktifkan. Knowledge Catalog menerapkan konfigurasi level project yang eksplisit.
  • Untuk project-b:
    • Penyerapan silsilah Managed Service untuk Apache Spark Diaktifkan (diwarisi dari test-org).
    • Penyerapan silsilah BigQuery Diaktifkan (diwariskan dari folder-a).
    • Penyerapan silsilah Managed Service untuk Apache Airflow menggunakan default sistem (Diaktifkan secara default jika Data Lineage API aktif), karena tidak ada konfigurasi eksplisit yang ditetapkan di tingkat mana pun dalam hierarki.

Langkah berikutnya