Silsilah data membantu Anda memahami cara data berpindah melalui sistem dengan melacak hubungan antara aset data dan proses yang mengubahnya. Anda dapat melihat informasi silsilah ini sebagai grafik dan daftar di Google Cloud konsol.
Dokumen ini menjelaskan perincian silsilah data tingkat tabel dan tingkat kolom granularity, serta memberikan petunjuk untuk menggunakan tampilan grafik dan daftar guna menjelajahi silsilah data di Google Cloud konsol.
Untuk mengetahui detail model data yang mendasarinya, lihat model informasi silsilah data.
Perbedaan antara silsilah tingkat tabel dan tingkat kolom
Silsilah data memungkinkan Anda melacak asal dan jalur transformasi data di tingkat tabel dan kolom.
Kapan harus menggunakan silsilah tingkat tabel
Silsilah tingkat tabel memberikan ringkasan tingkat tinggi tentang pipeline data Anda dengan menampilkan hubungan antara seluruh tabel. Gunakan silsilah tingkat tabel untuk tugas tingkat makro seperti berikut:
Data discovery. Analis yang membuat dasbor baru dapat menggunakan silsilah tingkat tabel untuk melacak tabel ringkasan kembali ke sumbernya dan mengonfirmasi bahwa data berasal dari database yang tepercaya.
Perencanaan migrasi. Administrator database yang berencana memigrasikan database inti dapat menggunakan silsilah tingkat tabel untuk mengidentifikasi setiap laporan dan dasbor hilir yang bergantung padanya.
Audit dan tata kelola. Pengelola data dapat menggunakan silsilah tingkat tabel dan tingkat kolom untuk memeriksa cara data dari tabel yang berisi informasi identitas pribadi (PII) mengalir melalui pipeline.
Kapan harus menggunakan silsilah tingkat kolom
Silsilah tingkat kolom memberikan tampilan yang lebih terperinci dengan melacak aliran data antar kolom. Dalam tampilan ini, link dalam peristiwa silsilah mewakili hubungan antara kolom sumber dan kolom target. Setiap link tingkat kolom ini memiliki jenis dependensi yang menjelaskan transformasi:
Exact copy: nilai disalin antar kolom.Other: jenis dependensi lain antar kolom.
Gunakan silsilah tingkat kolom untuk tugas seperti berikut:
Analisis akar masalah. Jika analis data menemukan nilai yang salah dalam kolom, mereka dapat menggunakan silsilah tingkat kolom untuk melacaknya kembali ke kolom sumber guna menemukan akar masalahnya.
Analisis dampak. Sebelum engineer data menghentikan penggunaan kolom, mereka dapat menggunakan silsilah tingkat kolom untuk menemukan setiap kolom hilir yang bergantung padanya.
Verifikasi sumber data untuk metrik. Analis data dapat menggunakan silsilah tingkat kolom untuk mengidentifikasi kolom sumber mana yang digunakan untuk menghitung metrik tanpa menguraikan kueri SQL yang kompleks.
Silsilah tingkat kolom dikumpulkan secara otomatis untuk jenis tugas BigQuery berikut:
Untuk tugas Managed Service untuk Apache Spark, dukungan bergantung pada jenis dan versi dependensi Open Lineage yang digunakan oleh Managed Service untuk Apache Spark. Versi minimum yang didukung adalah 1.34. Berikut adalah versi image cluster Managed Service untuk Apache Spark minimum yang didukung:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Berikut adalah versi runtime Managed Service untuk Apache Spark minimum yang didukung:
- 3.0.3
- 2.3.20
Tampilan silsilah di Google Cloud konsol
Silsilah data di Google Cloud konsol memungkinkan Anda berinteraksi dengan informasi silsilah dalam dua cara: Anda dapat menjelajahi grafik silsilah di beberapa region yang tersedia, atau menggunakan panel Lineage explorer untuk mendapatkan tampilan yang lebih fokus dalam region tertentu. Anda juga dapat beralih antara tampilan Graph dan tampilan List untuk menganalisis aliran data pada tingkat detail yang berbeda.
Untuk melihat berbagai tampilan yang dibahas dalam dokumen ini, lihat Menggunakan silsilah data dengan Google Cloud sistem.
Tampilan grafik silsilah
Tampilan Graph memvisualisasikan aliran dan hubungan aset data di seluruh sistem dan region, sehingga membantu Anda memahami arsitektur data, melacak asal dan tujuan, serta mengidentifikasi pola. Grafik silsilah ini, yang dibuat oleh layanan Data Lineage API untuk entri Knowledge Catalog tertentu, menunjukkan cara data diubah dari waktu ke waktu, menampilkan aliran hulu, hilir, atau keduanya dari entri root yang dipilih.
Data Lineage API secara otomatis menerima informasi aset dari sistem yang didukung dan melalui panggilan API untuk sumber kustom.
Elemen utama dalam grafik adalah sebagai berikut:
Node. Node mewakili entity data. Dalam tampilan tingkat tabel, node menampilkan nama tabel dan kolomnya. Dalam tampilan tingkat kolom, setiap node mewakili tabel dan kolom tertentu.
Edge. Edge adalah garis yang menghubungkan node dan mewakili proses yang terjadi di antara node. Tampilan edge bergantung pada tampilan silsilah:
- Dalam tampilan tingkat tabel, edge memiliki ikon untuk menunjukkan transformasi data.
- Dalam tampilan tingkat kolom, edge memiliki label untuk menunjukkan transformasi data. Misalnya, label edge mungkin bertuliskan
Exact copyuntuk menjelaskan cara kolom sumber disalin ke kolom target.
Ikon dan label proses. Ikon dan label proses muncul di edge untuk memberikan informasi selengkapnya tentang transformasi.
- Ikon. Ikon mewakili proses transformasi. Saat Anda menjelajahi grafik secara manual, ikon di edge mewakili sistem sumber proses (misalnya, BigQuery atau Vertex AI). Jika ada beberapa proses yang terlibat, ikon 'multiple processes' akan ditampilkan. Jika sistem sumber proses tidak diketahui, ikon roda gigi akan digunakan. Saat Anda menerapkan filter, ikon roda gigi akan digunakan untuk semua proses.
- Label. Dalam tampilan silsilah tingkat kolom, label menjelaskan jenis dependensi antar kolom:
Exact copyatauOther.
Menjelajahi grafik silsilah
Saat membuka tab Lineage, Anda akan melihat tampilan Graph default. Tampilan default memberikan ringkasan tingkat tinggi di seluruh sistem dan region, dengan perluasan grafik manual dan inkremental yang dapat memuat lima node sekaligus. Ikon proses di edge mewakili sistem sumber atau menunjukkan beberapa proses.
Memfilter dan menandai tampilan silsilah data
Untuk grafik silsilah yang besar dan kompleks, Anda dapat menerapkan filter atau penandaan untuk mengurangi gangguan visual dan berfokus pada penjelajahan silsilah dalam region tertentu. Gunakan panel Lineage explorer untuk menetapkan kriteria Anda. Saat filter diterapkan, panel filter akan muncul di bagian atas tampilan Graph dan List, yang menampilkan filter aktif Anda sebagai chip.
Untuk menyempurnakan visualisasi silsilah, Anda dapat memilih salah satu mode berikut:
Highlight: node yang cocok akan ditandai secara visual dengan warna dan batas, sementara grafik lengkap tetap terlihat. Hal ini membantu menemukan aset tertentu tanpa kehilangan konteks keseluruhan grafik silsilah.
Filter: node yang tidak cocok akan disembunyikan, dan grafik akan disederhanakan untuk hanya menampilkan node yang cocok dan jalur di antaranya. Aset yang tidak cocok dan merupakan bagian dari jalur antara node yang cocok akan dikelompokkan ke dalam node yang diciutkan. Mode ini berguna untuk mengurangi kompleksitas dan hanya berfokus pada aset yang relevan dan hubungan langsungnya.
Untuk memfilter atau menandai silsilah, gunakan kriteria berikut:
- Project: filter berdasarkan Google Cloud project ID.
- Sistem: filter berdasarkan sistem tempat aset data berada (misalnya, BigQuery atau Cloud Storage).
- Nama entitas: filter berdasarkan nama aset. Anda dapat menggunakan
*untuk penelusuran karakter pengganti (hanya awalan dan akhiran—misalnya,*tableatautest*). - Subtype: filter berdasarkan subjenis aset (misalnya,
dashboardataumodel). - Nama kolom: filter silsilah berdasarkan nama kolom untuk melihat detail tingkat kolom.
- Arah: tampilkan silsilah hulu atau hilir, atau keduanya.
- Rentang waktu: filter silsilah berdasarkan waktu mulai atau waktu berakhir tertentu.
- Jenis dependensi: filter silsilah tingkat kolom berdasarkan jenis dependensi.
Contoh opsi yang tersedia mencakup
AllatauExact copy.
Untuk lebih mengurangi gangguan, Anda dapat memilih Hide temporary BigQuery tables untuk menyembunyikan aset sementara yang dibuat oleh BigQuery, seperti tabel dalam set data dengan nama yang diawali dengan _script.
Tampilan fokus di tab tampilan Graph akan otomatis memperluas grafik hingga tiga tingkat, memuat semua silsilah yang cocok dengan kriteria filter. Lineage explorer mengambil hingga 10 tingkat grafik silsilah, tetapi hanya tiga tingkat pertama yang diperluas secara default. Anda dapat memperluas grafik untuk melihat tingkat yang tersisa dengan mengklik panah.
Tampilan fokus mendukung silsilah tingkat tabel dan tingkat kolom, termasuk visualisasi jalur dari node yang dipilih kembali ke root. Dalam tampilan fokus ini, ikon roda gigi generik digunakan untuk semua proses.
Untuk melihat silsilah tingkat kolom, gunakan salah satu metode berikut:
Dalam tampilan Graph yang difokuskan, klik ikon kolom pada tabel untuk beralih ke silsilah tingkat kolom.
Ikon kolom Dalam tampilan Graph default atau tampilan Graph yang difokuskan, terapkan nama kolom di panel Lineage explorer.
Untuk menghapus semua filter dan kembali ke tampilan default, klik Reset.
Untuk beralih antara mode penandaan dan filter, lihat Menyempurnakan visualisasi silsilah.
Melihat detail node silsilah
Untuk melihat detail node, klik node tersebut. Panel samping akan muncul dan menampilkan informasi mendetail tentang aset data yang dipilih. Misalnya, dalam tampilan silsilah tingkat tabel, mengklik node akan menampilkan informasi seperti nama aset yang sepenuhnya memenuhi syarat, jenis, dan atribut relevan lainnya.
Melihat histori operasi silsilah
Grafik silsilah lengkap adalah hasil operasi dari berbagai tugas. Setiap tugas membuat link tertentu dalam grafik. Beberapa eksekusi dicatat sebagai operasi baru, tetapi tidak mengubah tampilan statis grafik.
Untuk melihat detail setiap eksekusi ini, klik edge dengan proses pada grafik. Di panel Query yang muncul, klik tab Runs.
Memeriksa logika transformasi data
Untuk memahami logika bisnis transformasi tanpa menelusuri kode, Anda dapat melihat kueri SQL yang tepat yang dijalankan. Untuk melihat kode SQL, klik edge dengan proses pada grafik. Di panel samping yang muncul, klik tab Details.
Memvisualisasikan jalur silsilah data
Visualisasi jalur silsilah membantu Anda melacak jalur dari node yang dipilih dalam grafik kembali ke entri root. Saat Anda memilih node dan mengklik Visualize path, grafik hanya akan menandai node dan proses yang membentuk jalur silsilah langsung ke entri root.
Untuk melihat visualisasi jalur silsilah, di panel Lineage explorer, terapkan filter untuk membuat tampilan Graph yang difokuskan. Kemudian, dalam tampilan Graph yang difokuskan, pilih node. Di panel detail untuk node yang dipilih, klik Visualize Path.
Visualisasi jalur silsilah tersedia untuk silsilah tingkat tabel dan tingkat kolom. Anda juga dapat menggunakan visualisasi jalur silsilah dalam tampilan List.
Tampilan daftar silsilah
Tampilan List menawarkan representasi silsilah yang terstruktur dan berbentuk tabel, yang disinkronkan dengan tampilan Graph. Tampilan ini membantu Anda mengurutkan, memfilter, dan mendownload aset data. Tampilan ini ideal untuk menganalisis hubungan sumber-target, memberikan detail aset yang terlibat, dan mengekspor data silsilah.
Tampilan List tersedia untuk silsilah tingkat tabel dan tingkat kolom. Anda dapat beralih antara tampilan daftar mendetail dan sederhana berikut:
Tampilan daftar sederhana: tampilan ini berguna untuk mendapatkan daftar ringkas, unik dari semua aset yang terlibat dalam silsilah. Kolom seperti System, Project, Entity, FQN (Fully Qualified Name), Direction, dan Depth membantu Anda melihat semua aset data dalam silsilah, tempat aset tersebut berada, sumber aslinya, dan jaraknya dari aset pusat yang dianalisis. Tampilan ini ideal untuk ringkasan tingkat tinggi dari semua entity yang berpartisipasi dalam aliran data. Ini adalah tampilan default.
Tampilan daftar terperinci: tampilan ini dirancang untuk menganalisis hubungan sumber-target individual. Dengan menyediakan kolom terpisah untuk Source dan Target, Anda dapat melihat setiap link transformasi data tertentu. Tampilan ini ideal untuk tugas yang memerlukan pemahaman mendalam tentang cara data berpindah antar pasangan aset tertentu, seperti mengaudit aliran data individual, memahami dependensi antar tabel, atau mengekspor catatan silsilah mendetail untuk setiap koneksi.
Tampilan daftar silsilah tingkat tabel
Tampilan ini menunjukkan hubungan antar tabel secara keseluruhan. Gunakan filter yang disediakan untuk memilih kolom yang Anda perlukan.
Luaskan bagian berikut untuk melihat kolom yang tersedia dalam tampilan daftar tingkat tabel.
Kolom yang tersedia dalam tampilan daftar sederhana tingkat tabel
- Sistem: sistem tempat aset data berada. Contohnya mencakup [BigQuery](/bigquery/docs).
- Project: ID Google Cloud project yang berisi aset data.
- Entity: nama aset data. Contohnya mencakup nama tabel.
- FQN: Fully Qualified Name (FQN) dari entity atau kolom sumber asli.
- Arah: menunjukkan apakah aset yang tercantum berada di hulu (sumber) atau hilir (target) dalam aliran silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang dianalisis.
Kolom yang tersedia dalam tampilan daftar mendetail tingkat tabel
- Sistem sumber: sistem tempat aset data sumber berada. Contohnya mencakup BigQuery.
- Source project: ID Google Cloud project yang berisi aset data sumber.
- Sumber: nama aset data sumber. Contohnya mencakup nama tabel.
- Source FQN: FQN entity sumber.
- Sistem target: sistem tempat aset data target berada. Contohnya mencakup BigQuery.
- Target project: Project ID yang berisi aset data target . Google Cloud
- Target: nama aset data target. Contohnya mencakup nama tabel.
- Target FQN: FQN entity target.
- Arah: menunjukkan apakah aset yang tercantum berada di hulu (sumber) atau hilir (target) dalam aliran silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang dianalisis.
Tampilan daftar silsilah tingkat kolom
Tampilan ini menunjukkan hubungan antar kolom dalam tabel sumber dan target. Gunakan filter yang disediakan untuk memilih kolom yang Anda perlukan.
Luaskan bagian berikut untuk melihat kolom yang tersedia dalam tampilan daftar tingkat kolom.
Kolom yang tersedia dalam tampilan daftar sederhana tingkat kolom
- Sistem: sistem tempat aset data berada. Contohnya mencakup BigQuery.
- Project: ID Google Cloud project yang berisi aset data.
- Entity: nama aset data. Contohnya mencakup nama tabel.
- Kolom: kolom tertentu yang dipilih di panel Lineage Explorer dalam entity.
- FQN: Fully Qualified Name (FQN) dari entity sumber asli atau kolom.
- Arah: menunjukkan apakah aset yang tercantum berada di hulu (sumber) atau hilir (target) dalam aliran silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang dianalisis.
Kolom yang tersedia dalam tampilan daftar mendetail tingkat kolom
- Sistem sumber: sistem tempat aset data sumber berada.
- Source project: Project ID yang berisi aset data sumber. Google Cloud
- Source FQN: FQN kolom sumber.
- Sistem target: sistem tempat aset data target berada.
- Target project: Project ID yang berisi aset data target. Google Cloud
- Target FQN: FQN kolom target.
- Arah: menunjukkan apakah aliran data berada di hulu atau hilir.
- Jenis dependensi: menjelaskan sifat hubungan antar kolom.
- Depth: jumlah langkah silsilah dari aset pusat yang dianalisis.
Langkah berikutnya
Pelajari tentang sumber silsilah.
Pelajari cara melacak silsilah data untuk salinan tabel BigQuery dan tugas kueri.
Pelajari cara menggunakan silsilah data dengansistem. Google Cloud