Silsilah data membantu Anda memahami cara data bergerak melalui sistem Anda dengan melacak hubungan antara aset data dan proses yang mengubahnya. Anda dapat melihat informasi silsilah ini sebagai grafik dan daftar di konsol Google Cloud .
Dokumen ini menjelaskan perincian silsilah data tingkat tabel dan kolom, serta memberikan petunjuk untuk menggunakan tampilan grafik dan tampilan daftar guna menjelajahi silsilah data di konsol Google Cloud .
Untuk mengetahui detail tentang model data pokok, lihat model informasi silsilah data.
Perbedaan antara silsilah tingkat tabel dan tingkat kolom
Silsilah data memungkinkan Anda melacak asal dan jalur transformasi data Anda di tingkat tabel dan kolom.
Kapan harus menggunakan silsilah tingkat tabel
Silsilah tingkat tabel memberikan ringkasan umum tentang pipeline data Anda dengan menunjukkan hubungan antara seluruh tabel. Gunakan silsilah tingkat tabel untuk tugas tingkat makro seperti berikut:
Penemuan data. Analis yang membuat dasbor baru dapat menggunakan silsilah tingkat tabel untuk melacak tabel ringkasan kembali ke sumbernya dan mengonfirmasi bahwa data berasal dari database yang kredibel.
Perencanaan migrasi. Administrator database yang berencana memigrasikan database inti dapat menggunakan silsilah tingkat tabel untuk mengidentifikasi setiap laporan dan dasbor downstream yang bergantung padanya.
Pengauditan dan tata kelola. Data governor dapat menggunakan silsilah tingkat tabel dan tingkat kolom untuk memeriksa cara data dari tabel yang berisi informasi identitas pribadi (PII) mengalir melalui pipeline.
Kapan harus menggunakan silsilah tingkat kolom
Silsilah tingkat kolom memberikan tampilan yang lebih terperinci dengan melacak aliran data di antara setiap kolom. Dalam tampilan ini, link dalam peristiwa silsilah mewakili hubungan antara kolom sumber dan kolom target. Setiap link tingkat kolom ini memiliki jenis dependensi yang menjelaskan transformasi:
Exact copy: nilai disalin di antara kolom.Other: jenis dependensi lainnya di antara kolom.
Gunakan silsilah level kolom untuk tugas seperti berikut:
Analisis akar masalah. Jika menemukan nilai yang salah dalam kolom, analis data dapat menggunakan silsilah tingkat kolom untuk melacaknya kembali ke kolom sumber guna menemukan akar masalahnya.
Analisis dampak. Sebelum menghentikan penggunaan kolom, data engineer dapat menggunakan silsilah tingkat kolom untuk menemukan setiap kolom downstream yang bergantung padanya.
Verifikasi sumber data untuk metrik. Analis data dapat menggunakan silsilah tingkat kolom untuk mengidentifikasi kolom sumber yang digunakan untuk menghitung metrik tanpa menguraikan kueri SQL yang kompleks.
Silsilah tingkat kolom dikumpulkan secara otomatis untuk jenis tugas BigQuery berikut:
Untuk tugas Managed Service untuk Apache Spark, dukungan bergantung pada jenis dan versi dependensi Open Lineage yang digunakan oleh Managed Service untuk Apache Spark. Versi minimum yang didukung adalah 1.34. Berikut adalah versi image cluster Managed Service untuk Apache Spark minimum yang didukung:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Berikut adalah versi runtime Managed Service untuk Apache Spark minimum yang didukung:
- 3.0.3
- 2.3.20
Tampilan silsilah di konsol Google Cloud
Silsilah data di konsol Google Cloud memungkinkan Anda berinteraksi dengan informasi silsilah dengan dua cara: Anda dapat menjelajahi grafik silsilah di beberapa region yang tersedia, atau Anda dapat menggunakan panel Lineage explorer untuk mendapatkan tampilan yang lebih terfokus dalam region tertentu. Anda juga dapat beralih antara tampilan Graph dan tampilan List untuk menganalisis aliran data pada berbagai tingkat detail.
Tampilan silsilah hanya tersedia untuk entri Knowledge Catalog (sebelumnya dikenal sebagai Dataplex Universal Catalog), aset BigQuery, dan resource Vertex AI (model, set data, tampilan feature store, dan grup fitur).
Untuk melihat berbagai tampilan yang dibahas dalam dokumen ini, lihat Menggunakan silsilah data dengan sistem Google Cloud .
Tampilan grafik silsilah
Tampilan Grafik memvisualisasikan alur dan hubungan aset data di seluruh sistem dan region, sehingga membantu Anda memahami arsitektur data, melacak asal dan tujuan, serta mengidentifikasi pola. Grafik silsilah ini, yang dibuat oleh layanan Data Lineage API untuk entri Knowledge Catalog tertentu, menunjukkan cara data diubah dari waktu ke waktu, menampilkan aliran upstream, downstream, atau keduanya dari entri root yang dipilih.
Data Lineage API otomatis menerima informasi aset dari sistem yang didukung dan melalui panggilan API untuk sumber kustom.
Elemen utama dalam grafik adalah sebagai berikut:
Node. Node mewakili entity data. Dalam tampilan tingkat tabel, node menampilkan nama tabel dan kolomnya. Dalam tampilan tingkat kolom, setiap node mewakili tabel dan kolom tertentu.
Edge. Edge adalah garis yang menghubungkan node dan merepresentasikan proses yang terjadi di antara node tersebut. Tampilan edge bergantung pada tampilan silsilah:
- Dalam tampilan tingkat tabel, edge memiliki ikon untuk menunjukkan transformasi data.
- Dalam tampilan tingkat kolom, edge memiliki label untuk menunjukkan transformasi data. Misalnya, label edge mungkin bertuliskan
Exact copyuntuk menjelaskan cara kolom sumber disalin ke kolom target.
Ikon dan label proses. Ikon dan label proses muncul di tepi untuk memberikan informasi selengkapnya tentang transformasi.
- Ikon. Ikon yang mewakili proses transformasi. Saat Anda menjelajahi grafik secara manual, ikon di tepi mewakili sistem sumber proses (misalnya, BigQuery atau Vertex AI). Jika beberapa proses terlibat, ikon 'beberapa proses' akan ditampilkan. Jika sistem sumber proses tidak diketahui, ikon roda gigi akan digunakan. Saat Anda menerapkan filter, ikon roda gigi akan digunakan untuk semua proses.
- Label. Dalam tampilan silsilah tingkat kolom, label menjelaskan jenis
dependensi antarkolom:
Exact copyatauOther.
Mempelajari grafik silsilah
Saat membuka tab Lineage, Anda akan melihat tampilan Graph default. Tampilan default memberikan ringkasan tingkat tinggi di seluruh sistem dan region, dengan perluasan grafik manual dan inkremental yang dapat memuat lima node sekaligus. Ikon proses di tepi mewakili sistem sumber atau menunjukkan beberapa proses.
Memfilter dan menandai tampilan silsilah data
Untuk grafik silsilah yang besar dan kompleks, Anda dapat menerapkan filter atau penyorotan untuk mengurangi gangguan visual dan berfokus pada eksplorasi silsilah dalam region tertentu. Gunakan panel Lineage explorer untuk menetapkan kriteria Anda. Saat filter diterapkan, panel filter akan muncul di bagian atas tampilan Graph dan List, yang menampilkan filter aktif Anda sebagai chip.
Untuk menyaring visualisasi silsilah, Anda dapat memilih salah satu mode berikut:
Highlight: node yang cocok ditekankan secara visual dengan warna dan batas, sementara grafik lengkap tetap terlihat. Hal ini membantu menemukan aset tertentu tanpa kehilangan konteks keseluruhan grafik silsilah.
Filter: node yang tidak cocok akan disembunyikan, dan grafik disederhanakan untuk hanya menampilkan node yang cocok dan jalur di antaranya. Setiap aset yang tidak cocok yang merupakan bagian dari jalur antara node yang cocok akan dikelompokkan ke dalam node yang diciutkan. Mode ini berguna untuk mengurangi kompleksitas dan hanya berfokus pada aset yang relevan dan hubungan langsungnya.
Untuk memfilter atau menandai silsilah, gunakan kriteria berikut:
- Project: filter menurut Google Cloud project ID.
- System: memfilter menurut sistem tempat aset data berada (misalnya, BigQuery atau Cloud Storage).
- Nama entitas: memfilter menurut nama aset. Anda dapat menggunakan
*untuk penelusuran karakter pengganti (hanya awalan dan akhiran—misalnya,*tableatautest*). - Subjenis: filter menurut subjenis aset (misalnya,
dashboardataumodel). - Column name: memfilter silsilah berdasarkan nama kolom untuk melihat detail tingkat kolom.
- Direction: menampilkan silsilah upstream atau downstream, atau keduanya.
- Rentang waktu: memfilter silsilah berdasarkan waktu mulai atau waktu berakhir tertentu.
- Dependency type: memfilter silsilah tingkat kolom berdasarkan jenis dependensi.
Contoh opsi yang tersedia mencakup
AllatauExact copy.
Untuk mengurangi kekacauan lebih lanjut, Anda dapat memilih Hide temporary BigQuery tables untuk
menyembunyikan aset sementara yang dibuat oleh BigQuery, seperti tabel dalam
set data dengan nama yang diawali dengan _script.
Tampilan terfokus di tab tampilan Graph otomatis memperluas grafik hingga tiga level, yang memuat semua silsilah yang cocok dengan kriteria filter. Lineage explorer mengambil hingga 10 level grafik silsilah, tetapi hanya tiga level pertama yang diperluas secara default. Anda dapat meluaskan grafik untuk melihat level yang tersisa dengan mengklik panah.
Tampilan terfokus mendukung silsilah tingkat tabel dan tingkat kolom, termasuk visualisasi jalur dari node yang dipilih kembali ke root. Dalam tampilan terfokus ini, ikon roda gigi umum digunakan untuk semua proses.
Untuk melihat silsilah tingkat kolom, gunakan salah satu metode berikut:
Dalam tampilan Graph yang difokuskan, klik ikon kolom pada tabel untuk beralih ke silsilah tingkat kolom.
Ikon kolom Dalam tampilan Graph default atau tampilan Graph yang difokuskan, terapkan nama kolom di panel Lineage explorer.
Untuk menghapus semua filter dan kembali ke tampilan default, klik Reset.
Untuk beralih antara mode sorotan dan filter, lihat Mempertajam visualisasi silsilah.
Melihat detail node silsilah
Untuk melihat detail node, klik node. Panel samping akan muncul dan menampilkan informasi mendetail tentang aset data yang dipilih. Misalnya, dalam tampilan silsilah tingkat tabel, mengklik node akan menampilkan informasi seperti nama aset yang sepenuhnya memenuhi syarat, jenis, dan atribut relevan lainnya.
Melihat histori operasi silsilah
Grafik silsilah yang lengkap adalah hasil dari operasi dari berbagai tugas. Setiap tugas membuat link tertentu dalam grafik. Beberapa eksekusi dicatat sebagai operasi baru, tetapi tidak mengubah tampilan statis grafik.
Untuk melihat detail eksekusi individual ini, klik edge dengan proses pada grafik. Di panel Query yang muncul, klik tab Runs.
Memeriksa logika transformasi data
Untuk memahami logika bisnis transformasi tanpa menelusuri kode, Anda dapat melihat kueri SQL persis yang dijalankan. Untuk melihat kode SQL, klik edge dengan proses pada grafik. Di panel samping yang muncul, klik tab Details.
Memvisualisasikan jalur silsilah data
Visualisasi jalur silsilah membantu Anda melacak jalur dari node yang dipilih dalam grafik kembali ke entri root. Saat Anda memilih node dan mengklik Visualisasikan jalur, grafik hanya akan menandai node dan proses yang membentuk jalur silsilah langsung ke entri root.
Untuk melihat visualisasi jalur silsilah, di panel Lineage explorer, terapkan filter untuk membuat tampilan Graph yang terfokus. Kemudian, di tampilan Graph yang difokuskan, pilih node. Di panel detail untuk node yang dipilih, klik Visualize Path.
Visualisasi jalur silsilah tersedia untuk silsilah tingkat tabel dan tingkat kolom. Anda juga dapat menggunakan visualisasi jalur silsilah dalam tampilan Daftar.
Tampilan daftar silsilah
Tampilan Daftar menawarkan representasi silsilah yang berbentuk tabel dan terstruktur, yang disinkronkan dengan tampilan Grafik. Halaman ini membantu Anda mengurutkan, memfilter, dan mendownload aset data. Tampilan ini ideal untuk menganalisis hubungan sumber-target, merinci aset yang terlibat, dan mengekspor data silsilah.
Tampilan Daftar tersedia untuk silsilah tingkat tabel dan tingkat kolom. Anda dapat beralih antara tampilan daftar mendetail dan sederhana berikut:
Tampilan daftar yang disederhanakan: tampilan ini berguna untuk mendapatkan daftar yang ringkas dan unik dari semua aset yang terlibat dalam silsilah. Kolom seperti System, Project, Entity, FQN (Fully Qualified Name), Direction, dan Depth membantu Anda melihat semua aset data dalam lineage, tempat aset tersebut berada, sumber aslinya, dan jaraknya dari aset pusat yang sedang dianalisis. Diagram ini ideal untuk ringkasan umum semua entity yang berpartisipasi dalam aliran data. Tampilan ini adalah tampilan default.
Tampilan daftar mendetail: tampilan ini dirancang untuk menganalisis setiap hubungan sumber-target. Dengan menyediakan kolom terpisah untuk Sumber dan Target, Anda dapat melihat setiap link transformasi data tertentu. Tampilan ini ideal untuk tugas yang memerlukan pemahaman mendalam tentang cara data berpindah di antara pasangan aset tertentu, seperti mengaudit aliran data individual, memahami dependensi antar-tabel, atau mengekspor data silsilah yang mendetail untuk setiap koneksi.
Tampilan daftar silsilah tingkat tabel
Tampilan ini menunjukkan hubungan antartabel secara keseluruhan. Gunakan filter yang disediakan untuk memilih kolom yang Anda perlukan.
Luaskan bagian berikut untuk melihat kolom yang tersedia dalam tampilan daftar tingkat tabel.
Kolom yang tersedia dalam tampilan daftar tingkat tabel yang disederhanakan
- Sistem: sistem tempat aset data berada. Contohnya mencakup [BigQuery](/bigquery/docs).
- Project: project ID Google Cloud yang berisi aset data.
- Entity: nama aset data. Contohnya mencakup nama tabel.
- FQN: Nama yang Sepenuhnya Memenuhi Syarat (FQN) dari entitas atau kolom sumber asli.
- Arah: menunjukkan apakah aset yang tercantum berada di upstream (sumber) atau downstream (target) dalam alur silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang sedang dianalisis.
Kolom yang tersedia dalam tampilan daftar tingkat tabel yang mendetail
- Sistem sumber: sistem tempat aset data sumber berada. Contohnya mencakup BigQuery.
- Project sumber: ID project Google Cloud yang berisi aset data sumber.
- Source: nama aset data sumber. Contohnya mencakup nama tabel.
- FQN Sumber: FQN entitas sumber.
- Sistem target: sistem tempat aset data target berada. Contohnya mencakup BigQuery.
- Project target: project ID Google Cloud yang berisi aset data target.
- Target: nama aset data target. Contohnya mencakup nama tabel.
- FQN Target: FQN entitas target.
- Arah: menunjukkan apakah aset yang tercantum berada di upstream (sumber) atau downstream (target) dalam alur silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang sedang dianalisis.
Tampilan daftar silsilah tingkat kolom
Tampilan ini menunjukkan hubungan antara setiap kolom dalam tabel sumber dan target. Gunakan filter yang disediakan untuk memilih kolom yang Anda perlukan.
Luaskan bagian berikut untuk melihat kolom yang tersedia dalam tampilan daftar tingkat kolom.
Kolom yang tersedia dalam tampilan daftar tingkat kolom yang disederhanakan
- Sistem: sistem tempat aset data berada. Contohnya mencakup BigQuery.
- Project: project ID Google Cloud yang berisi aset data.
- Entity: nama aset data. Contohnya mencakup nama tabel.
- Kolom: kolom tertentu yang dipilih di panel Lineage Explorer dalam entity.
- FQN: Nama yang Sepenuhnya Memenuhi Syarat (FQN) dari entity atau kolom sumber asli.
- Arah: menunjukkan apakah aset yang tercantum berada di upstream (sumber) atau downstream (target) dalam alur silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang sedang dianalisis.
Kolom yang tersedia dalam tampilan daftar tingkat kolom yang mendetail
- Sistem sumber: sistem tempat aset data sumber berada.
- Project sumber: project ID Google Cloud yang berisi aset data sumber.
- FQN Sumber: FQN kolom sumber.
- Sistem target: sistem tempat aset data target berada.
- Project target: project ID Google Cloud yang berisi aset data target.
- Target FQN: FQN kolom target.
- Arah: menunjukkan apakah aliran data mengarah ke upstream atau downstream.
- Jenis dependensi: menjelaskan sifat hubungan antarkolom.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang sedang dianalisis.
Langkah berikutnya
Pelajari sumber silsilah.
Pelajari cara melacak silsilah data untuk salinan tabel BigQuery dan tugas kueri.
Pelajari cara menggunakan silsilah data dengan sistem Google Cloud .