Tentang penelusuran silsilah multi-region

Saat Anda mengelola data di seluruh organisasi yang kompleks, memahami asal-usul data sangat penting untuk tata kelola data yang baik dan pengelolaan data cloud yang efektif. Panduan ini menjelaskan cara menggunakan penelusuran multi-region di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) untuk melacak data Anda di seluruh batas geografis.

Secara default, asal-usul data di Knowledge Catalog adalah layanan regional. Setiap kali data Anda dipindahkan atau diubah, data silsilah yang dihasilkan seperti link, proses, dan peristiwa, disimpan di region tertentu tempat tindakan tersebut terjadi.

Namun, pipeline data dunia nyata sering kali mencakup beberapa Google Cloud project dan region. Misalnya, Anda mungkin memiliki tabel BigQuery di us-central1 yang menyalin data ke bucket penyimpanan di europe-west1. Untuk melacak aset data Anda di seluruh batas ini dan membuat grafik silsilah yang lengkap, Anda harus melakukan penelusuran multi-region.

Knowledge Catalog memberi Anda dua cara untuk menemukan dan menghubungkan grafik silsilah lintas regional ini:

  • Metode otomatisasi sisi server yang menggunakan searchLineageStreaming API (Pratinjau)—Direkomendasikan
  • Metode fan-out sisi klien yang menggunakan API searchLinks

Untuk memahami penemuan silsilah multi-region, sebaiknya pahami cara sistem menangani penelusuran grafik:

  • Kriteria root: Titik awal penelusuran silsilah Anda, yang ditentukan oleh satu atau beberapa nama aset (seperti tabel BigQuery atau topik Pub/Sub) atau kolom terperinci.

  • Arah: Orientasi traversal grafik relatif terhadap kriteria root. Anda dapat menelusuri hulu (untuk melihat asal data Anda) atau hilir (untuk melihat tujuan data Anda).

  • Penelusuran first-breadth: Mekanisme arsitektur yang digunakan untuk menemukan node yang terhubung. Penelusuran melintasi grafik silsilah lapis demi lapis, dengan akurat menghitung kedalaman eksekusi setiap aset yang terhubung di seluruh batas regional.

Bagaimana perbandingan metode penelusuran multi-wilayah?

Meskipun kedua metode memungkinkan Anda menyusun tampilan lintas wilayah dari data, keduanya menangani tugas berat secara berbeda:

Fitur Otomatisasi sisi server
searchLineageStreaming API		 Fan-out sisi klien
searchLinks API
Model eksekusi Otomatisasi sisi server: Google Cloud Mesin perutean melintasi beberapa region secara native. Orkestrasi sisi klien: Skrip aplikasi Anda harus melakukan loop dan mengelola permintaan secara manual.
Overhead permintaan Permintaan API tunggal: Satu panggilan HTTP POST memulai penelusuran multi-region. Beberapa permintaan API: Memerlukan panggilan HTTP terpisah untuk setiap wilayah dan setiap lapisan grafik.
Penanganan respons Streaming real-time: Hasil dikirim ke klien saat ditemukan, sehingga mencegah waktu tunggu habis. Payload statis: Setiap array JSON harus diterima, dikumpulkan, dan digabungkan secara manual.
Grafik dalam (lebih dari 2 lapisan) Menangani grafik silsilah bertingkat yang dalam secara otomatis hingga 100 tingkat. Mengalami masalah kueri N+1; memerlukan perjalanan pulang pergi yang lambat dan berulang dari klien.

Memilih metode penelusuran multi-region yang tepat

Tinjau skenario berikut untuk menentukan metode penelusuran multi-region mana yang sesuai dengan workload Anda.

Pilih metode streaming API untuk kasus penggunaan berikut:

  • Melacak grafik yang dalam atau kompleks: Data Anda berpindah melalui beberapa tabel, bucket, atau pipeline perantara di berbagai region, yang memerlukan penelusuran multi-level (maxDepth lebih besar dari 2).

  • Melacak silsilah tingkat kolom: Anda ingin melacak kolom di seluruh region atau memanfaatkan penelusuran karakter pengganti (*) untuk menarik semua dependensi kolom sekaligus.

  • Mempertahankan kode ringan: Anda lebih memilih melakukan satu panggilan API dan membiarkan Google Cloud menangani perutean, penghapusan duplikat, dan perakitan grafik.

  • Memerlukan metadata pipeline: Anda ingin mengambil detail struktural secara opsional tentang proses yang menjalankan pipeline Anda dalam payload permintaan yang sama.

Pilih metode fan-out sisi klien untuk skenario berikut:

  • Anda hanya melacak silsilah satu lompatan yang dangkal: Grafik silsilah Anda tidak rumit, dan Anda hanya perlu mencari link induk atau turunan langsung (maxDepth sama dengan 1) di sejumlah kecil wilayah tetap yang diketahui.

  • Anda bekerja dalam sistem lama yang ketat: Anda memiliki aplikasi tata kelola data yang sudah ada yang dibangun secara intensif di sekitar endpoint SearchLinks standar dan ingin mempertahankan kompatibilitas mundur struktural tanpa menerapkan konsumen respons streaming.

Langkah berikutnya