Tentang penelusuran silsilah multi-region

Penelusuran silsilah multi-region di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda melacak aset data di berbagai Google Cloud project dan region untuk membuat grafik silsilah yang lengkap. Tampilan terpadu ini membantu Anda mempertahankan tata kelola data dan menganalisis dependensi di seluruh organisasi saat pipeline mencakup batas geografis. Anda dapat menemukan dan menghubungkan grafik lintas region menggunakan otomatisasi sisi server yang direkomendasikan dengan API (Pratinjau) searchLineageStreaming atau fan-out sisi klien dengan API searchLinks. Untuk mengetahui petunjuk tentang cara menggunakan streaming API, lihat Menelusuri silsilah multi-region menggunakan otomatisasi sisi server.

Secara default, silsilah data di Knowledge Catalog adalah layanan regional. Setiap kali data Anda berpindah atau bertransformasi, data silsilah yang dihasilkan, seperti link, proses, dan peristiwa, akan disimpan di region tertentu tempat tindakan tersebut terjadi. Namun, pipeline data di dunia nyata sering kali mencakup beberapa project dan regionGoogle Cloud . Misalnya, Anda mungkin memiliki tabel BigQuery di us-central1 yang menyalin data ke bucket penyimpanan di europe-west1, sehingga memerlukan penelusuran multi-region untuk melacak aset data Anda di seluruh batas ini.

Untuk memahami penemuan silsilah multi-region, sebaiknya pahami cara Knowledge Catalog menangani penjelajahan grafik:

  • Kriteria root: Titik awal penelusuran silsilah Anda, yang ditentukan oleh satu atau beberapa nama aset (seperti tabel BigQuery atau topik Pub/Sub) atau kolom terperinci.

  • Arah: Orientasi penjelajahan grafik yang terkait dengan kriteria root. Anda dapat menelusuri upstream (untuk melihat dari mana data Anda berasal) atau downstream (untuk melihat ke mana data Anda akan dikirim).

  • Penelusuran breadth-first: Mekanisme arsitektur yang digunakan untuk menemukan node yang terhubung. Penelusuran melintasi grafik silsilah lapis demi lapis, menghitung kedalaman eksekusi setiap aset yang terhubung secara akurat di seluruh batas regional.

Bagaimana perbandingan metode penelusuran multi-region?

Meskipun kedua metode ini memungkinkan Anda menyusun tampilan lintas region dari data Anda, keduanya menangani tugas berat dengan cara yang berbeda:

Fitur Otomatisasi sisi server
searchLineageStreaming API		 Fan-out sisi klien
searchLinks API
Model eksekusi Otomatisasi sisi server: Mesin pemilihan rute Google Cloud melintasi beberapa region secara native. Orkestrasi sisi klien: Skrip aplikasi Anda harus melakukan loop dan mengelola permintaan secara manual.
Overhead permintaan Permintaan API tunggal: Satu panggilan POST HTTP memulai penelusuran multi-region. Beberapa permintaan API: Memerlukan panggilan HTTP terpisah untuk setiap region dan setiap lapisan grafik.
Penanganan respons Streaming real-time: Hasil dikirim ke klien saat ditemukan, sehingga mencegah waktu tunggu habis. Payload statis: Array JSON individual harus diterima, dikumpulkan, dan digabungkan secara manual.
Grafik dalam (lebih dari 2 lapisan) Menangani grafik silsilah bertingkat yang mendalam secara otomatis hingga 100 level. Mengalami masalah kueri N+1; memerlukan perjalanan bolak-balik yang lambat dan berulang dari klien.

Memilih metode penelusuran multi-region yang tepat

Tinjau skenario berikut untuk menentukan metode penelusuran multi-region yang sesuai dengan workload Anda.

Pilih metode streaming API untuk kasus penggunaan berikut:

  • Melacak grafik yang dalam atau kompleks: Data Anda berpindah melalui beberapa tabel, bucket, atau pipeline perantara di berbagai region, sehingga memerlukan traversal multi-level (maxDepth lebih besar dari 2).

  • Melacak silsilah tingkat kolom: Anda ingin melacak kolom di seluruh region atau memanfaatkan penelusuran karakter pengganti (*) untuk menarik semua dependensi kolom sekaligus.

  • Mempertahankan kode ringan: Anda lebih memilih untuk melakukan satu panggilan API dan membiarkan Google Cloud menangani pemilihan rute, penghapusan duplikat, dan perakitan grafik.

  • Memerlukan metadata pipeline: Anda ingin mengambil detail struktural secara opsional tentang proses yang menjalankan pipeline Anda dalam payload permintaan yang sama.

Pilih metode fan-out sisi klien untuk skenario berikut:

  • Anda hanya melacak silsilah dangkal dengan satu hop: Grafik silsilah Anda tidak kompleks, dan Anda hanya perlu mencari link induk atau turunan langsung (maxDepth sama dengan 1) di sejumlah kecil region yang diketahui dan tetap.

  • Anda bekerja dalam sistem lama yang ketat: Anda memiliki aplikasi tata kelola data yang sudah ada dan sangat bergantung pada endpoint SearchLinks standar, serta ingin mempertahankan kompatibilitas mundur struktural tanpa menerapkan konsumen respons streaming.

Langkah berikutnya