Urutan data membantu Anda memahami cara data bergerak melalui sistem Anda dengan melacak hubungan antara aset data dan proses yang mengubahnya. Anda dapat melihat informasi silsilah ini sebagai grafik dan daftar di konsol Google Cloud .
Dokumen ini menjelaskan perincian silsilah data tingkat tabel dan tingkat kolom, serta memberikan petunjuk untuk menggunakan tampilan grafik dan daftar guna menjelajahi silsilah data di konsol Google Cloud .
Untuk mengetahui detail tentang model data pokok, lihat model informasi silsilah data.
Perbedaan antara silsilah tingkat tabel dan tingkat kolom
Penelusuran data memungkinkan Anda melacak asal dan jalur transformasi data di tingkat tabel dan kolom.
Kapan harus menggunakan silsilah tingkat tabel
Silsilah tingkat tabel memberikan ringkasan umum tentang pipeline data Anda dengan menampilkan hubungan antar-seluruh tabel. Gunakan silsilah tingkat tabel untuk tugas tingkat makro seperti berikut:
Penemuan data. Analis yang membuat dasbor baru dapat menggunakan silsilah tingkat tabel untuk melacak tabel ringkasan kembali ke sumbernya dan mengonfirmasi bahwa data berasal dari database yang tepercaya.
Perencanaan migrasi. Administrator database yang berencana memigrasikan database inti dapat menggunakan silsilah tingkat tabel untuk mengidentifikasi setiap laporan dan dasbor hilir yang bergantung padanya.
Audit dan tata kelola. Pengelola data dapat menggunakan silsilah tingkat tabel dan tingkat kolom untuk memeriksa cara data dari tabel yang berisi informasi identitas pribadi (PII) mengalir melalui pipeline.
Kapan harus menggunakan silsilah tingkat kolom
Silsilah tingkat kolom memberikan tampilan yang lebih terperinci dengan melacak alur data antar-kolom. Dalam tampilan ini, link dalam peristiwa silsilah mewakili hubungan antara kolom sumber dan kolom target. Setiap link tingkat kolom ini memiliki jenis dependensi yang menjelaskan transformasi:
Exact copy: nilai disalin antar-kolom.Other: jenis dependensi lain antar-kolom.
Gunakan silsilah tingkat kolom untuk tugas seperti berikut:
Analisis akar masalah. Jika menemukan nilai yang salah dalam kolom, analis data dapat menggunakan silsilah tingkat kolom untuk melacaknya kembali ke kolom sumber guna menemukan penyebab utamanya.
Analisis dampak. Sebelum menghentikan penggunaan kolom, teknisi data dapat menggunakan silsilah tingkat kolom untuk menemukan setiap kolom hilir yang bergantung padanya.
Verifikasi sumber data untuk metrik. Analis data dapat menggunakan silsilah tingkat kolom untuk mengidentifikasi kolom sumber mana yang digunakan untuk menghitung metrik tanpa menguraikan kueri SQL yang kompleks.
Silsilah tingkat kolom dikumpulkan secara otomatis untuk jenis tugas BigQuery berikut:
Untuk tugas Managed Service untuk Apache Spark, dukungan bergantung pada jenis dan versi dependensi Open Lineage yang digunakan oleh Managed Service untuk Apache Spark. Versi minimum yang didukung adalah 1.34. Berikut adalah versi image cluster Managed Service untuk Apache Spark minimum yang didukung:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Berikut adalah versi runtime Managed Service untuk Apache Spark yang didukung minimum:
- 3.0.3
- 2.3.20
Tampilan silsilah di konsol Google Cloud
Silsilah data di konsol Google Cloud memungkinkan Anda berinteraksi dengan informasi silsilah dalam dua cara: Anda dapat menjelajahi grafik silsilah di beberapa region yang tersedia, atau Anda dapat menggunakan panel Penjelajah silsilah untuk mendapatkan tampilan yang lebih terfokus dalam region tertentu. Anda juga dapat beralih antara tampilan Grafik dan tampilan Daftar untuk menganalisis alur data pada berbagai tingkat detail.
Tampilan silsilah data hanya tersedia untuk entri Knowledge Catalog (sebelumnya dikenal sebagai Dataplex Universal Catalog), aset BigQuery, dan resource Vertex AI (model, set data, tampilan Feature Store, dan grup fitur).
Untuk melihat berbagai tampilan yang dibahas dalam dokumen ini, lihat artikel Menggunakan silsilah data dengan sistem Google Cloud .
Tampilan grafik silsilah
Tampilan Grafik memvisualisasikan alur dan hubungan aset data di seluruh sistem dan region, sehingga membantu Anda memahami arsitektur data, melacak asal dan tujuan, serta mengidentifikasi pola. Grafik silsilah ini, yang dibuat oleh layanan Data Lineage API untuk entri Knowledge Catalog tertentu, menunjukkan cara data ditransformasikan dari waktu ke waktu, menampilkan alur hulu, hilir, atau keduanya dari entri root yang dipilih.
Data Lineage API secara otomatis menerima informasi aset dari sistem yang didukung dan melalui panggilan API untuk sumber kustom.
Elemen utama dalam grafik adalah sebagai berikut:
Node. Node merepresentasikan entity data. Dalam tampilan tingkat tabel, sebuah node menampilkan nama tabel dan kolomnya. Dalam tampilan tingkat kolom, setiap node mewakili tabel dan kolom tertentu.
Tepi. Tepi adalah garis yang menghubungkan node dan merepresentasikan proses yang terjadi di antara node tersebut. Tampilan tepi bergantung pada tampilan silsilah:
- Dalam tampilan tingkat tabel, tepi memiliki ikon untuk menunjukkan transformasi data.
- Dalam tampilan tingkat kolom, tepi memiliki label untuk menunjukkan transformasi data. Misalnya, label tepi mungkin bertuliskan
Exact copyuntuk mendeskripsikan cara kolom sumber disalin ke kolom target.
Ikon dan label proses. Ikon dan label proses muncul di tepi untuk memberikan informasi selengkapnya tentang transformasi.
- Ikon. Ikon mewakili proses transformasi. Saat Anda menjelajahi grafik secara manual, ikon di tepi merepresentasikan sistem sumber proses (misalnya, BigQuery atau Vertex AI). Jika ada beberapa proses yang terlibat, ikon 'beberapa proses' akan ditampilkan. Jika sistem sumber proses tidak diketahui, ikon roda gigi akan digunakan. Saat Anda menerapkan filter, ikon roda gigi digunakan untuk semua proses.
- Label. Dalam tampilan silsilah tingkat kolom, label menjelaskan jenis
dependensi antar-kolom:
Exact copyatauOther.
Menjelajahi grafik silsilah
Saat membuka tab Silsilah, Anda akan melihat tampilan Grafik default. Tampilan default memberikan ringkasan tingkat tinggi di seluruh sistem dan region, dengan perluasan grafik manual dan inkremental yang dapat memuat lima node sekaligus. Ikon proses di tepi mewakili sistem sumber atau menunjukkan beberapa proses.
Memfilter dan menandai tampilan silsilah data
Untuk grafik silsilah yang besar dan kompleks, Anda dapat menerapkan filter atau penyorotan untuk mengurangi gangguan visual dan berfokus pada eksplorasi silsilah dalam wilayah tertentu. Gunakan panel Penjelajah silsilah untuk menetapkan kriteria Anda. Saat filter diterapkan, panel filter akan muncul di bagian atas tampilan Grafik dan Daftar, yang menampilkan filter aktif Anda sebagai chip.
Untuk menyempurnakan visualisasi silsilah, Anda dapat memilih salah satu mode berikut:
Sorot: node yang cocok ditekankan secara visual dengan warna dan batas, sementara grafik lengkap tetap terlihat. Hal ini membantu menemukan aset tertentu tanpa menghilangkan konteks keseluruhan grafik silsilah.
Filter: node yang tidak cocok disembunyikan, dan grafik disederhanakan untuk hanya menampilkan node yang cocok dan jalur di antaranya. Aset yang tidak cocok yang merupakan bagian dari jalur antara node yang cocok dikelompokkan ke dalam node yang diciutkan. Mode ini berguna untuk mengurangi kompleksitas dan hanya berfokus pada aset yang relevan dan hubungan langsungnya.
Untuk memfilter atau menandai asal data, gunakan kriteria berikut:
- Project: filter menurut Google Cloud project ID.
- Sistem: filter menurut sistem tempat aset data berada (misalnya, BigQuery atau Cloud Storage).
- Nama entitas: memfilter menurut nama aset. Anda dapat menggunakan
*untuk penelusuran dengan karakter pengganti (hanya awalan dan akhiran—misalnya,*tableatautest*). - Subjenis: memfilter menurut subjenis aset (misalnya,
dashboardataumodel). - Nama kolom: memfilter asal data menurut nama kolom untuk melihat detail tingkat kolom.
- Arah: menampilkan silsilah hulu atau hilir, atau keduanya.
- Rentang waktu: memfilter silsilah berdasarkan waktu mulai atau berakhir tertentu.
- Jenis dependensi: memfilter silsilah tingkat kolom berdasarkan jenis dependensi.
Contoh opsi yang tersedia meliputi
AllatauExact copy.
Untuk lebih mengurangi kekacauan, Anda dapat memilih Sembunyikan tabel BigQuery sementara untuk menyembunyikan aset sementara yang dibuat oleh BigQuery, seperti tabel dalam set data dengan nama yang diawali dengan _script.
Tampilan terfokus di tab tampilan Grafik secara otomatis memperluas grafik hingga tiga tingkat, memuat semua silsilah yang cocok dengan kriteria filter. Penjelajah asal-usul mengambil hingga 10 tingkat grafik asal-usul, tetapi hanya tiga tingkat pertama yang diperluas secara default. Anda dapat memperluas grafik untuk melihat tingkat yang tersisa dengan mengklik panah.
Tampilan terfokus mendukung silsilah tingkat tabel dan tingkat kolom, termasuk visualisasi jalur dari setiap node yang dipilih kembali ke root. Dalam tampilan terfokus ini, ikon roda gigi generik digunakan untuk semua proses.
Untuk melihat silsilah tingkat kolom, gunakan salah satu metode berikut:
Dalam tampilan Grafik yang difokuskan, klik ikon kolom pada tabel untuk beralih ke asal-usul tingkat kolom.
Ikon kolom Dalam tampilan Grafik default atau tampilan Grafik yang difokuskan, terapkan nama kolom di panel Penjelajah silsilah.
Untuk menghapus semua filter dan kembali ke tampilan default, klik Reset.
Untuk beralih antara mode sorotan dan filter, lihat Memperbaiki visualisasi silsilah.
Melihat detail node silsilah
Untuk melihat detail node, klik node. Panel samping akan muncul dan menampilkan informasi mendetail tentang aset data yang dipilih. Misalnya, dalam tampilan silsilah tingkat tabel, mengklik sebuah node akan menampilkan informasi seperti nama yang sepenuhnya memenuhi syarat aset, jenis, dan atribut relevan lainnya.
Melihat histori operasi silsilah
Grafik silsilah lengkap adalah hasil dari menjalankan banyak tugas yang berbeda. Setiap tugas membuat link tertentu dalam grafik. Beberapa eksekusi dicatat sebagai proses baru, tetapi tidak mengubah tampilan statis grafik.
Untuk melihat detail setiap eksekusi ini, klik tepi dengan proses pada grafik. Di panel Kueri yang muncul, klik tab Eksekusi.
Memeriksa logika transformasi data
Untuk memahami logika bisnis transformasi tanpa menelusuri kode, Anda dapat melihat kueri SQL persis yang dijalankan. Untuk melihat kode SQL, klik tepi dengan proses pada grafik. Di panel samping yang muncul, klik tab Detail.
Memvisualisasikan jalur silsilah data
Visualisasi jalur silsilah membantu Anda melacak jalur dari node yang dipilih dalam grafik kembali ke entri root. Saat Anda memilih node dan mengklik Visualize path, grafik hanya akan menandai node dan proses yang membentuk jalur silsilah langsung ke entri root.
Untuk melihat visualisasi jalur silsilah, di panel Lineage explorer, terapkan filter untuk membuat tampilan Grafik yang terfokus. Kemudian, di tampilan Grafik yang difokuskan, pilih sebuah node. Di panel detail untuk node yang dipilih, klik Visualize Path.
Visualisasi jalur silsilah tersedia untuk silsilah tingkat tabel dan tingkat kolom. Anda juga dapat menggunakan visualisasi jalur silsilah dalam tampilan Daftar.
Tampilan daftar silsilah
Tampilan Daftar menawarkan representasi silsilah yang terstruktur dan berbentuk tabel, yang disinkronkan dengan tampilan Grafik. Bagian ini membantu Anda mengurutkan, memfilter, dan mendownload aset data. Tampilan ini ideal untuk menganalisis hubungan sumber-target, merinci aset yang terlibat, dan mengekspor data silsilah.
Tampilan Daftar tersedia untuk silsilah tingkat tabel dan tingkat kolom. Anda dapat beralih antara tampilan daftar mendetail dan sederhana berikut:
Tampilan daftar yang disederhanakan: tampilan ini berguna untuk mendapatkan daftar ringkas dan unik dari semua aset yang terlibat dalam silsilah. Kolom seperti Sistem, Project, Entitas, FQN (Nama yang Sepenuhnya Memenuhi Syarat), Arah, dan Kedalaman membantu Anda melihat semua aset data dalam asal-usul, tempat aset berada, sumber aslinya, dan jaraknya dari aset pusat yang sedang dianalisis. Diagram ini ideal untuk memberikan ringkasan umum tentang semua entitas yang berpartisipasi dalam alur data. Ini adalah tampilan default.
Tampilan daftar mendetail: tampilan ini dirancang untuk menganalisis hubungan sumber-target individual. Dengan menyediakan kolom terpisah untuk Sumber dan Target, Anda dapat melihat setiap link transformasi data tertentu. Tampilan ini ideal untuk tugas yang memerlukan pemahaman mendalam tentang cara data berpindah di antara pasangan aset tertentu, seperti mengaudit alur data individual, memahami dependensi antar-tabel, atau mengekspor catatan silsilah mendetail untuk setiap koneksi.
Tampilan daftar silsilah tingkat tabel
Tampilan ini menunjukkan hubungan antartabel secara keseluruhan. Gunakan filter yang disediakan untuk memilih kolom yang Anda perlukan.
Luaskan bagian berikut untuk melihat kolom yang tersedia di tampilan daftar tingkat tabel.
Kolom yang tersedia dalam tampilan daftar tingkat tabel yang disederhanakan
- Sistem: sistem tempat aset data berada. Contohnya mencakup [BigQuery](/bigquery/docs).
- Project: project ID Google Cloud yang berisi aset data.
- Entitas: nama aset data. Contohnya mencakup nama tabel.
- FQN: Nama yang Sepenuhnya Memenuhi Syarat (FQN) dari entity atau kolom sumber asli.
- Arah: menunjukkan apakah aset yang tercantum berada di hulu (sumber) atau di hilir (target) dalam alur silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang dianalisis.
Kolom yang tersedia dalam tampilan daftar tingkat tabel yang mendetail
- Sistem sumber: sistem tempat aset data sumber berada. Contohnya mencakup BigQuery.
- Project sumber: ID project Google Cloud yang berisi aset data sumber.
- Sumber: nama aset data sumber. Contohnya mencakup nama tabel.
- FQN Sumber: FQN entitas sumber.
- Sistem target: sistem tempat aset data target berada. Contohnya mencakup BigQuery.
- Project target: project ID Google Cloud yang berisi aset data target.
- Target: nama aset data target. Contohnya mencakup nama tabel.
- FQDN Target: FQN entitas target.
- Arah: menunjukkan apakah aset yang tercantum berada di hulu (sumber) atau di hilir (target) dalam alur silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang dianalisis.
Tampilan daftar silsilah tingkat kolom
Tampilan ini menunjukkan hubungan antara masing-masing kolom dalam tabel sumber dan tabel target. Gunakan filter yang disediakan untuk memilih kolom yang Anda perlukan.
Luaskan bagian berikut untuk melihat kolom yang tersedia di tampilan daftar tingkat kolom.
Kolom yang tersedia dalam tampilan daftar tingkat kolom yang disederhanakan
- Sistem: sistem tempat aset data berada. Contohnya mencakup BigQuery.
- Project: project ID Google Cloud yang berisi aset data.
- Entitas: nama aset data. Contohnya mencakup nama tabel.
- Kolom: kolom tertentu yang dipilih di panel Lineage Explorer dalam entitas.
- FQN: Nama yang Sepenuhnya Memenuhi Syarat (FQN) dari entity atau kolom sumber asli.
- Arah: menunjukkan apakah aset yang tercantum berada di hulu (sumber) atau di hilir (target) dalam alur silsilah.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang dianalisis.
Kolom yang tersedia dalam tampilan daftar tingkat kolom yang mendetail
- Sistem sumber: sistem tempat aset data sumber berada.
- Project sumber: project ID Google Cloud yang berisi aset data sumber.
- FQN Sumber: FQN kolom sumber.
- Sistem target: sistem tempat aset data target berada.
- Project target: project ID Google Cloud yang berisi aset data target.
- Target FQN: FQN kolom target.
- Arah: menunjukkan apakah aliran data berada di hulu atau hilir.
- Jenis dependensi: menjelaskan sifat hubungan antara kolom.
- Kedalaman: jumlah langkah silsilah dari aset pusat yang dianalisis.
Langkah berikutnya
Pelajari sumber silsilah.
Pelajari cara melacak silsilah data untuk tugas kueri dan salinan tabel BigQuery.
Pelajari cara menggunakan silsilah data dengan Google Cloud sistem.