Saat merencanakan strategi tata kelola data, memahami cara kerja asal-usul data di Knowledge Catalog dapat membantu Anda membuat keputusan arsitektur yang lebih baik. Perhatikan pertimbangan berikut:
- Pengaktifan tingkat project: Saat Anda mengaktifkan Data Lineage API, pelacakan silsilah data akan aktif di seluruh project secara default, yang secara otomatis melaporkan informasi untuk beberapa sistem, bergantung pada kontrol tingkat produknya. Anda juga dapat mengontrol penyerapan silsilah secara hierarkis untuk layanan tertentu.
- Kepatuhan terhadap peraturan: Anda mendapatkan visibilitas yang jelas tentang pergerakan data sekaligus memahami secara persis metadata apa yang dicatat dan cara pengamanannya.
- Pengelolaan biaya: Anda dapat secara proaktif meninjau dan mengelola dampak penagihan dari pelacakan asal di seluruh project Anda.
Kontrol silsilah tingkat produk
Jika Data Lineage API diaktifkan, sistem yang didukung akan melaporkan silsilah sesuai dengan kontrol tingkat produknya:
| Sistem | Kontrol silsilah yang tersedia |
|---|---|
| BigQuery, Cloud Data Fusion |
Anda tidak dapat membatasi pelacakan silsilah hanya ke Cloud Data Fusion atau BigQuery saat Data Lineage API diaktifkan dalam project. Anda dapat mengonfigurasi penyerapan silsilah data untuk BigQuery guna mengaktifkan atau menonaktifkan penyerapan silsilah data otomatis. |
| Managed Service untuk Apache Airflow | Managed Airflow menggunakan kontrol integrasi silsilah data tingkat lingkungan. Linage data diaktifkan secara otomatis untuk semua lingkungan Managed Airflow baru yang memenuhi persyaratan. Lihat Silsilah data dengan Managed Airflow untuk mengetahui informasi selengkapnya. Untuk lingkungan yang sudah ada, gunakan setelan lingkungan untuk mengaktifkan atau menonaktifkan integrasi silsilah data. Anda dapat mengonfigurasi penyerapan silsilah data untuk Managed Airflow guna mengaktifkan atau menonaktifkan penyerapan silsilah data otomatis. |
| Dataflow | Anda dapat merekam peristiwa silsilah dengan tugas Dataflow dan memublikasikannya ke Data Lineage API. Lihat Menggunakan silsilah data di Dataflow untuk mengetahui informasi selengkapnya. |
| Managed Service untuk Apache Spark | Anda dapat merekam peristiwa silsilah dengan tugas Managed Service untuk Apache Spark dan memublikasikannya ke Data Lineage API. Lihat Menggunakan silsilah data Spark untuk mengetahui informasi selengkapnya. Anda dapat mengonfigurasi penyerapan silsilah data untuk Managed Service untuk Apache Spark guna mengaktifkan atau menonaktifkan penyerapan silsilah data otomatis. |
| Looker (Google Cloud core) (Pratinjau) | Visualisasi metadata Looker (inti Google Cloud) dari sumber BigQuery menggunakan data lineage didukung. Silsilah data harus diaktifkan di tingkat resource Looker (inti Google Cloud) dan di tingkat layanan silsilah data. Lihat Melacak silsilah data dengan Knowledge Catalog untuk mengetahui informasi selengkapnya. |
| Vertex AI | Silsilah data diaktifkan secara otomatis untuk pipeline Vertex AI, yang melacak artefak input dan parameter eksekusi (seperti model, set data, dan komponen), serta aset turunan hilir. Lihat Melacak silsilah artefak pipeline untuk mengetahui informasi selengkapnya. |
Dampak terhadap penagihan
Saat Anda mengaktifkan Data Lineage API di project, tinjau dampak pada biaya penagihan Anda karena Data Lineage API diaktifkan berdasarkan per project (lihat bagian sebelumnya untuk mengetahui detailnya). Untuk mengetahui informasi selengkapnya tentang cara penagihan silsilah data, lihat Harga Knowledge Catalog.
Untuk BigQuery Omni, pemrosesan silsilah didistribusikan ke region tertentu, dan biaya bergantung pada region tempat pemrosesan dilakukan.
Kepatuhan silsilah data
- Silsilah data mencatat metadata tentang pergerakan data, tetapi tidak mengambil data itu sendiri. Lihat model informasi silsilah data dan referensi API Data Lineage untuk mengetahui detail tentang kolom yang disertakan dalam metadata.
- Silsilah data sebagai bagian dari Knowledge Catalog menawarkan dukungan VPC-SC.
- Knowledge Catalog tidak menawarkan kemampuan untuk menggunakan Kunci Enkripsi yang Dikelola Pelanggan untuk melindungi metadata silsilah yang dikumpulkan.
Batasan silsilah data
Saat Anda memilih node dalam grafik silsilah, panel samping detail node akan kosong dalam kasus berikut:
- Resource berada di organisasi lain.
- Pengguna bukan anggota organisasi yang menghosting resource.