Tentang kontrol penyerapan silsilah data

Untuk mengelola biaya dan kebijakan tata kelola, Anda dapat mengaktifkan atau menonaktifkan penyerapan silsilah data untuk layanan Google Cloud tertentu. Misalnya, Anda dapat menonaktifkan pengumpulan silsilah untuk project pengembangan atau workload bervolume tinggi yang tidak memerlukan pelacakan silsilah.

Integrasi layanan yang didukung

Tabel berikut mencantumkan integrasi yang mendukung kontrol penyerapan silsilah data:

Nama integrasi Dukungan kontrol penyerapan Nilai default Detail integrasi
Managed Service untuk Apache Spark: Cluster Apache Spark Ya Aktif Menggunakan silsilah data Spark
Managed Service untuk Apache Spark: Cluster Apache Hive Ya Aktif Mengaktifkan silsilah data Hive
Managed Service untuk Apache Spark: deployment serverless Ya Aktif Menggunakan silsilah data dengan Managed Service untuk Apache Spark
BigQuery Ya Aktif Melacak silsilah untuk tabel BigQuery
Managed Service untuk Apache Airflow Ya Aktif Silsilah data dengan Knowledge Catalog
Looker (Google Cloud core) Ya (Pratinjau) Aktif Silsilah data Looker Core
Cloud Data Fusion Tidak Aktif Melihat silsilah di Knowledge Catalog
Dataflow Tidak Dinonaktifkan dari sisi Dataflow Menggunakan silsilah data di Dataflow
Vertex AI Pipelines Tidak Aktif Melacak silsilah artefak pipeline

Cara kerja kontrol penyerapan silsilah data

Anda dapat mengontrol penyerapan data di tingkat organisasi, folder, dan project, serta menggabungkan setelan ini dengan konfigurasi khusus layanan untuk mendapatkan kontrol terperinci atas penyerapan silsilah data.

Knowledge Catalog mengevaluasi hierarki resource yang dimulai dengan project, lalu folder, kemudian organisasi untuk menentukan konfigurasi yang efektif. Konfigurasi pertama yang ditetapkan secara eksplisit di tingkat mana pun dalam traversal ke atas ini akan diterapkan.

  • Jika Anda menetapkan konfigurasi di level project, Knowledge Catalog akan menggunakannya.
  • Jika tidak ada konfigurasi yang ditetapkan di level project, Knowledge Catalog akan menggunakan konfigurasi dari folder induk terdekat dengan konfigurasi eksplisit.
  • Jika tidak ada konfigurasi yang ditetapkan di level project atau folder, Knowledge Catalog akan menggunakan konfigurasi level organisasi.
  • Jika tidak ada konfigurasi yang ditetapkan di salah satu level ini, Knowledge Catalog akan menggunakan default sistem untuk integrasi.

Untuk mengelola kontrol penyerapan secara massal, aktifkan Data Lineage API untuk semua project di dalam folder atau organisasi dengan mengikuti aturan aktivasi layanan hierarkis. Setelah mengaktifkan Data Lineage API, Anda dapat mengontrol penyerapan silsilah data secara terperinci per integrasi layanan untuk organisasi, folder, atau project.

Cara kerja konfigurasi penyerapan data untuk integrasi layanan tunggal

Skenario berikut menggambarkan cara Knowledge Catalog menyelesaikan konfigurasi penyerapan silsilah untuk satu layanan di seluruh hierarki resource.

Pertimbangkan organisasi test-org dengan konfigurasi silsilah Managed Service untuk Apache Spark berikut:

  • Organisasi test-org: Diaktifkan
    • Folder folder-a: Nonaktif
      • Project project-a: Tidak ada konfigurasi yang ditetapkan
    • Folder folder-b: Diaktifkan
      • Project project-b: Nonaktif

Dalam skenario ini, setelan berikut berlaku:

  • Untuk project-a, penyerapan silsilah Dinonaktifkan. Knowledge Catalog mulai mengevaluasi dari project-a, tidak menemukan konfigurasi, naik ke folder-a, dan menerapkan konfigurasi Nonaktif dari folder-a.
  • Untuk project-b, penyerapan silsilah Dinonaktifkan. Knowledge Catalog mulai mengevaluasi dari project-b dan menerapkan konfigurasi Nonaktif, yang menggantikan setelan di folder-b dan test-org.

Cara kerja konfigurasi penyerapan data untuk integrasi multi-layanan

Skenario berikut menggambarkan cara Knowledge Catalog menyelesaikan konfigurasi secara independen untuk beberapa layanan di seluruh hierarki resource.

Pertimbangkan organisasi test-org dengan konfigurasi silsilah berikut di beberapa integrasi layanan:

  • Organisasi test-org
    • Managed Service for Apache Spark: Enabled
    • Folder folder-a
      • BigQuery: Aktif
      • Project project-a
        • BigQuery: Nonaktif
        • Managed Service for Apache Airflow: Enabled
      • Project project-b: Tidak ada konfigurasi yang ditetapkan

Dalam skenario ini, Knowledge Catalog mengevaluasi setiap integrasi layanan secara independen di seluruh hierarki resource:

  • Untuk project-a:
    • Penyerapan silsilah Managed Service untuk Apache Spark Diaktifkan. Knowledge Catalog mulai mengevaluasi dari project-a, tidak menemukan konfigurasi untuk Managed Service untuk Apache Spark, naik ke folder-a (tidak ada konfigurasi yang ditetapkan), dan menerapkan konfigurasi Enabled dari test-org.
    • Penyerapan silsilah BigQuery Dinonaktifkan. Knowledge Catalog menerapkan konfigurasi eksplisit tingkat project, yang mengganti konfigurasi Aktif yang ditetapkan di folder-a.
    • Penyerapan silsilah Managed Service untuk Apache Airflow Diaktifkan. Knowledge Catalog menerapkan konfigurasi tingkat project eksplisit.
  • Untuk project-b:
    • Penyerapan silsilah Managed Service untuk Apache Spark Diaktifkan (diwarisi dari test-org).
    • Penyerapan silsilah BigQuery Diaktifkan (diwarisi dari folder-a).
    • Penyerapan silsilah Managed Service untuk Apache Airflow menggunakan default sistem (Enabled secara default jika Data Lineage API aktif), karena tidak ada konfigurasi eksplisit yang ditetapkan di tingkat mana pun dalam hierarki.

Langkah berikutnya