Menggunakan garis keturunan data dengan sistem Google Cloud

Silsilah data menampilkan hubungan antara resource project Anda dan proses yang membuatnya.

Anda dapat melihat detail silsilah data di konsol Google Cloud atau mengambilnya menggunakan Data Lineage API.

Tips: Saat Anda menggunakan silsilah data dengan Dataplex Universal Catalog, perhatikan perbedaan yang dijelaskan dalam Tentang silsilah data di Data Catalog.

Perhatian: Silsilah data diaktifkan berdasarkan per project, bukan per layanan. Setelah Anda mengaktifkan Data Lineage API, informasi silsilah akan otomatis dilaporkan untuk beberapa layanan Google Cloud dalam project, bergantung pada kontrol silsilah tingkat produknya. Untuk mengetahui detail selengkapnya, lihat Pertimbangan silsilah data.

Bergantung pada volume data yang diproses, silsilah data memerlukan waktu untuk menampilkan grafik. Sebagian besar tugas memerlukan waktu tiga jam, dan beberapa tugas dapat memerlukan waktu hingga 24 jam.

Silsilah direkam di seluruh project. Saat melihat silsilah yang dibuat dari beberapa project, Anda dapat melihat informasi silsilah gabungan di salah satu project yang relevan.

Peran dan izin

Untuk melihat silsilah data, Anda memerlukan izin Identity and Access Management (IAM) tertentu. Informasi silsilah dicatat di seluruh project, sehingga Anda memerlukan izin di beberapa project.

• Saat melihat silsilah di Katalog Universal Dataplex, BigQuery, atau Vertex AI: Anda memerlukan izin untuk melihat informasi silsilah di project tempat Anda melihatnya.

• Saat melihat silsilah yang direkam di project lain: Anda memerlukan izin untuk melihat informasi silsilah di project tempat silsilah tersebut direkam.

Untuk melihat silsilah data, Anda memerlukan peran atau izin berikut. Berikan peran ini kepada akun utama (misalnya, pengguna atau akun layanan) di resource yang relevan (misalnya, project atau tabel BigQuery).

• Pelihat Silsilah Data (roles/datalineage.viewer): memberikan izin untuk melihat silsilah di konsol Google Cloud dan menggunakan Data Lineage API. Anda harus menerapkan peran ini pada project tempat silsilah direkam dan pada project tempat silsilah dilihat. Untuk mengetahui informasi selengkapnya, lihat Jenis project.

• Pelihat Katalog Universal Dataplex (roles/dataplex.catalogViewer): memberikan izin untuk melihat metadata aset yang dikatalogkan di Dataplex Universal Catalog. Berikan peran ini pada project tempat entri katalog disimpan agar pengguna dapat melihat detail entri dalam grafik silsilah. Atau, Anda dapat memberikan peran pelihat di sistem sumber. Untuk mengetahui informasi selengkapnya, lihat Menelusuri aset data dengan Dataplex Universal Catalog.

• Izin BigQuery lainnya:

  • Untuk melihat detail aset BigQuery dalam grafik silsilah, seperti definisi tabel atau kueri tampilan, berikan peran BigQuery Data Viewer (roles/bigquery.dataViewer).
  • Untuk melihat kueri SQL tugas BigQuery yang menghasilkan silsilah, berikan izin bigquery.jobs.get. Izin ini disertakan dalam peran seperti peran Admin BigQuery (roles/bigquery.admin) dan peran Pelihat Resource BigQuery (roles/bigquery.resourceViewer).

Silsilah data melacak informasi silsilah secara otomatis saat Anda mengaktifkan Data Lineage API. Anda tidak memerlukan peran administrator atau editor untuk merekam silsilah aset data Anda.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses. Anda dapat menetapkan peran di tingkat folder atau organisasi yang lebih tinggi. Untuk mengetahui informasi selengkapnya, lihat Memberikan atau mencabut satu peran.

Jenis tampilan silsilah data

Anda dapat melihat informasi asal sebagai grafik atau daftar. Grafik silsilah menampilkan silsilah tingkat tabel secara default. Untuk tugas BigQuery, Anda dapat melihat silsilah tingkat kolom dalam tampilan grafik dan daftar.

Jenis tampilan berikut tersedia:

• Tampilan grafik: menampilkan silsilah sebagai grafik interaktif, sehingga Anda dapat menjelajahi hubungan antara aset dan kolom data dengan meluaskan node.

• Tampilan daftar: menampilkan silsilah dalam format tabel, yang memberikan representasi silsilah tingkat tabel dan tingkat kolom yang disederhanakan dan mendetail. Anda dapat menyesuaikan kolom dan mengekspor data silsilah dari tampilan ini.

Elemen utama dalam grafik dijelaskan sebagai berikut:

• Node: menampilkan entity data. Dalam tampilan tingkat tabel, sebuah node menampilkan nama tabel dan kolomnya. Dalam tampilan tingkat kolom, setiap node mewakili tabel tertentu dan kolomnya yang memiliki silsilah.

• Tepi: garis yang menghubungkan node dan merepresentasikan proses yang terjadi di antara keduanya. Tepi dapat menampilkan ikon atau label untuk memberikan informasi lebih lanjut tentang transformasi:

  • Icons: Dalam tampilan tingkat tabel, ikon muncul di tepi untuk merepresentasikan proses transformasi. Saat Anda menjelajahi grafik secara manual, ikon pada tepi merepresentasikan sistem sumber proses (misalnya, BigQuery atau Vertex AI). Jika ada beberapa proses yang terlibat, ikon 'beberapa proses' akan ditampilkan. Jika sistem sumber proses tidak diketahui, ikon roda gigi akan digunakan. Saat Anda menerapkan filter, ikon roda gigi digunakan untuk semua proses.
  • Label: Dalam tampilan tingkat kolom, tepi diberi label untuk mendeskripsikan jenis dependensi antar-kolom, seperti Exact copy atau Other.

Mengaktifkan silsilah data

Aktifkan silsilah data untuk mulai melacak informasi silsilah secara otomatis untuk sistem yang didukung. Anda harus mengaktifkan Data Lineage API di project tempat Anda melihat silsilah, dan project tempat silsilah dicatat. Untuk mengetahui informasi selengkapnya, lihat Jenis project.

1. Untuk merekam informasi silsilah, selesaikan langkah-langkah berikut:

   1. Di konsol Google Cloud , pada halaman Pemilih project, pilih project tempat Anda ingin merekam silsilah.

      Buka Pemilih project

   2. Aktifkan Data Lineage API.

      Aktifkan Data Lineage API

   3. Ulangi langkah-langkah sebelumnya untuk setiap project yang ingin Anda rekam silsilahnya.

2. Di project tempat Anda melihat silsilah data, aktifkan Data Lineage API dan Dataplex API.

   Aktifkan API

Melihat silsilah di Dataplex Universal Catalog

Anda dapat melihat informasi silsilah data di antarmuka web Dataplex Universal Catalog.

Untuk melihat silsilah, ikuti petunjuk berikut:

1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

2. Pilih Dataplex Universal Catalog sebagai mode penelusuran.

3. Telusuri entri yang ingin Anda lihat, lalu klik entri tersebut. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource di Dataplex Universal Catalog.

4. Klik tab Silsilah.

   Tampilan Graph default akan terbuka, yang menampilkan silsilah tingkat tabel di seluruh sistem dan region. Untuk mengetahui informasi selengkapnya, lihat Tampilan grafik silsilah.

5. Untuk menjelajahi grafik silsilah secara manual, klik Luaskan di samping node untuk memuat lima node lagi sekaligus.

   Untuk mengetahui informasi selengkapnya, lihat Menjelajahi grafik silsilah secara manual.

6. Klik node dalam tampilan Grafik.

   Panel Detail akan terbuka dengan informasi tentang aset, seperti nama dan jenis yang sepenuhnya memenuhi syarat. Untuk mengetahui informasi selengkapnya, lihat Detail node.

7. Klik tepi dengan ikon proses di tampilan Grafik.

   Panel Query akan terbuka. Untuk mengetahui informasi selengkapnya, lihat Memeriksa logika transformasi dan Audit dan histori proses.

   • Untuk memeriksa logika transformasi, klik tab Detail.

   • Untuk melihat audit dan histori operasi, klik tab Operasi.

8. Di panel Lineage explorer, pilih kriteria filter—misalnya, Arah, Jenis dependensi, atau Rentang waktu—lalu klik Terapkan.

   Tindakan ini akan membuka tampilan fokus dalam wilayah tertentu (Pratinjau). Tampilan ini secara otomatis memperluas grafik hingga tiga tingkat node. Untuk mengetahui informasi selengkapnya, lihat Menerapkan filter untuk tampilan silsilah yang terfokus.

9. Dalam tampilan Grafik yang difokuskan, pilih node, lalu di panel detail node, klik Visualisasikan Jalur untuk memvisualisasikan jalur silsilah dari node yang dipilih kembali ke entri root (hanya dalam tampilan yang difokuskan).

   Untuk mengetahui informasi selengkapnya, lihat Visualisasi jalur silsilah.

10. Untuk melihat silsilah tingkat kolom (hanya untuk tugas BigQuery), lakukan salah satu hal berikut:

    • Dalam tampilan Grafik yang difokuskan, klik ikon kolom pada tabel.

      

      Ikon kolom

    • Di panel Penjelajah silsilah, filter menurut nama kolom, lalu klik Terapkan.

    Untuk mengetahui informasi selengkapnya, lihat Silsilah tingkat kolom.

11. Klik Reset.

    Tindakan ini akan menghapus semua filter yang diterapkan dan membawa Anda ke awal tampilan grafik.

12. Klik Daftar untuk beralih ke tampilan daftar.

    Tampilan Daftar menawarkan representasi tabular silsilah yang disederhanakan dan mendetail untuk silsilah tingkat tabel dan tingkat kolom, yang disinkronkan dengan tampilan Grafik. Secara default, tampilan daftar yang disederhanakan ditampilkan, dan Anda dapat beralih ke tampilan daftar detail untuk menganalisis hubungan sumber-target individual. Anda dapat mengonfigurasi kolom yang ditampilkan dan mengekspor data asal. Untuk mengetahui informasi selengkapnya, lihat Tampilan daftar silsilah.

Melihat silsilah di BigQuery

Anda dapat melihat informasi silsilah data di antarmuka web BigQuery.

Untuk melihat silsilah, ikuti petunjuk berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka halaman BigQuery

2. Buka tabel yang silsilah datanya ingin Anda lihat.

3. Klik tab Silsilah.

   Tampilan Graph default akan terbuka, yang menampilkan silsilah tingkat tabel di seluruh sistem dan region. Untuk mengetahui informasi selengkapnya, lihat Tampilan grafik silsilah.

4. Untuk menjelajahi grafik silsilah secara manual, klik Luaskan di samping node untuk memuat lima node lagi sekaligus.

   Untuk mengetahui informasi selengkapnya, lihat Menjelajahi grafik silsilah secara manual.

5. Klik node dalam tampilan Grafik.

   Panel Detail akan terbuka dengan informasi tentang aset, seperti nama dan jenis yang sepenuhnya memenuhi syarat. Untuk mengetahui informasi selengkapnya, lihat Detail node.

6. Klik tepi dengan ikon proses di tampilan Grafik.

   Panel Query akan terbuka. Untuk mengetahui informasi selengkapnya, lihat Memeriksa logika transformasi dan Audit dan histori proses.

   • Untuk memeriksa logika transformasi, klik tab Detail.

   • Untuk melihat audit dan histori operasi, klik tab Operasi.

7. Di panel Lineage explorer, pilih kriteria filter—misalnya, Arah, Jenis dependensi, atau Rentang waktu—lalu klik Terapkan.

   Tindakan ini akan membuka tampilan fokus dalam wilayah tertentu (Pratinjau). Tampilan ini secara otomatis memperluas grafik hingga tiga tingkat node. Untuk mengetahui informasi selengkapnya, lihat Menerapkan filter untuk tampilan silsilah yang terfokus.

8. Dalam tampilan Grafik yang difokuskan, pilih node, lalu di panel detail node, klik Visualisasikan Jalur untuk memvisualisasikan jalur silsilah dari node yang dipilih kembali ke entri root (hanya dalam tampilan yang difokuskan).

   Untuk mengetahui informasi selengkapnya, lihat Visualisasi jalur silsilah.

9. Untuk melihat silsilah tingkat kolom (hanya untuk tugas BigQuery), lakukan salah satu hal berikut:

   • Dalam tampilan Grafik yang difokuskan, klik ikon kolom pada tabel.

     

     Ikon kolom

   • Di panel Penjelajah silsilah, filter menurut nama kolom, lalu klik Terapkan.

   Untuk mengetahui informasi selengkapnya, lihat Silsilah tingkat kolom.

10. Klik Reset.

    Tindakan ini akan menghapus semua filter yang diterapkan dan membawa Anda ke awal tampilan grafik.

11. Klik Daftar untuk beralih ke tampilan daftar.

    Tampilan Daftar menawarkan representasi tabular silsilah yang disederhanakan dan mendetail untuk silsilah tingkat tabel dan tingkat kolom, yang disinkronkan dengan tampilan Grafik. Secara default, tampilan daftar yang disederhanakan ditampilkan, dan Anda dapat beralih ke tampilan daftar detail untuk menganalisis hubungan sumber-target individual. Anda dapat mengonfigurasi kolom yang ditampilkan dan mengekspor data asal. Untuk mengetahui informasi selengkapnya, lihat Tampilan daftar silsilah.

Melihat garis keturunan di Vertex AI

Sistem seperti Vertex AI Pipelines menghasilkan data silsilah untuk model dan set data Vertex AI. Anda dapat melihat informasi garis keturunan data di antarmuka web Vertex AI.

Catatan: Untuk melihat silsilah operasi Vertex AI, seperti data pelatihan, pengujian, dan evaluasi yang digunakan atau hyperparameter yang diterapkan, lihat Melacak silsilah artefak pipeline.

Melihat garis keturunan untuk set data terkelola di Vertex AI

Untuk melihat silsilah dataset, ikuti petunjuk berikut:

1. Di konsol Google Cloud , buka halaman Datasets.

   Buka halaman Set Data

2. Klik set data yang ingin Anda lihat asal-usul datanya.

3. Klik tab Silsilah.

   Tampilan Graph default akan terbuka, yang menampilkan silsilah tingkat tabel di seluruh sistem dan region. Untuk mengetahui informasi selengkapnya, lihat Tampilan grafik silsilah.

4. Untuk menjelajahi grafik silsilah secara manual, klik Luaskan di samping node untuk memuat lima node lagi sekaligus.

   Untuk mengetahui informasi selengkapnya, lihat Menjelajahi grafik silsilah secara manual.

5. Klik node dalam tampilan Grafik.

   Panel Detail akan terbuka dengan informasi tentang aset, seperti nama dan jenis yang sepenuhnya memenuhi syarat. Untuk mengetahui informasi selengkapnya, lihat Detail node.

6. Klik tepi dengan ikon proses di tampilan Grafik.

   Panel Query akan terbuka. Untuk mengetahui informasi selengkapnya, lihat Memeriksa logika transformasi dan Audit dan histori proses.

   • Untuk memeriksa logika transformasi, klik tab Detail.

   • Untuk melihat audit dan histori operasi, klik tab Operasi.

7. Di panel Lineage explorer, pilih kriteria filter—misalnya, Arah, Jenis dependensi, atau Rentang waktu—lalu klik Terapkan.

   Tindakan ini akan membuka tampilan fokus dalam wilayah tertentu (Pratinjau). Tampilan ini secara otomatis memperluas grafik hingga tiga tingkat node. Untuk mengetahui informasi selengkapnya, lihat Menerapkan filter untuk tampilan silsilah yang terfokus.

8. Dalam tampilan Grafik yang difokuskan, pilih node, lalu di panel detail node, klik Visualisasikan Jalur untuk memvisualisasikan jalur silsilah dari node yang dipilih kembali ke entri root (hanya dalam tampilan yang difokuskan).

   Untuk mengetahui informasi selengkapnya, lihat Visualisasi jalur silsilah.

9. Untuk melihat silsilah tingkat kolom (hanya untuk tugas BigQuery), lakukan salah satu hal berikut:

   • Dalam tampilan Grafik yang difokuskan, klik ikon kolom pada tabel.

     

     Ikon kolom

   • Di panel Penjelajah silsilah, filter menurut nama kolom, lalu klik Terapkan.

   Untuk mengetahui informasi selengkapnya, lihat Silsilah tingkat kolom.

10. Klik Reset.

    Tindakan ini akan menghapus semua filter yang diterapkan dan membawa Anda ke awal tampilan grafik.

11. Klik Daftar untuk beralih ke tampilan daftar.

    Tampilan Daftar menawarkan representasi tabular silsilah yang disederhanakan dan mendetail untuk silsilah tingkat tabel dan tingkat kolom, yang disinkronkan dengan tampilan Grafik. Secara default, tampilan daftar yang disederhanakan ditampilkan, dan Anda dapat beralih ke tampilan daftar detail untuk menganalisis hubungan sumber-target individual. Anda dapat mengonfigurasi kolom yang ditampilkan dan mengekspor data asal. Untuk mengetahui informasi selengkapnya, lihat Tampilan daftar silsilah.

Catatan: Pada grafik silsilah, proses Vertex AI didahului oleh . Proses ini mencakup komponen dan template Vertex AI Pipelines, serta artefak, set data, dan model Vertex ML Metadata. Jika proses dicatat dalam Dataplex Universal Catalog dengan nama domain yang sepenuhnya memenuhi syarat (FQN), Anda dapat mengklik entri dalam grafik silsilah untuk melihat detailnya. Atau, untuk melihat detail grafik silsilah di Vertex AI, klik Open in Vertex AI di panel Details.

Melihat garis keturunan untuk model di Vertex AI

Untuk melihat silsilah model, ikuti petunjuk berikut:

1. Di konsol Google Cloud , buka halaman Model Registry.

   Buka halaman Model Registry

2. Klik model yang ingin Anda lihat asal datanya.

3. Klik tab Silsilah.

   Tampilan Graph default akan terbuka, yang menampilkan silsilah tingkat tabel di seluruh sistem dan region. Untuk mengetahui informasi selengkapnya, lihat Tampilan grafik silsilah.

4. Untuk menjelajahi grafik silsilah secara manual, klik Luaskan di samping node untuk memuat lima node lagi sekaligus.

   Untuk mengetahui informasi selengkapnya, lihat Menjelajahi grafik silsilah secara manual.

5. Klik node dalam tampilan Grafik.

   Panel Detail akan terbuka dengan informasi tentang aset, seperti nama dan jenis yang sepenuhnya memenuhi syarat. Untuk mengetahui informasi selengkapnya, lihat Detail node.

6. Klik tepi dengan ikon proses di tampilan Grafik.

   Panel Query akan terbuka. Untuk mengetahui informasi selengkapnya, lihat Memeriksa logika transformasi dan Audit dan histori proses.

   • Untuk memeriksa logika transformasi, klik tab Detail.

   • Untuk melihat audit dan histori operasi, klik tab Operasi.

7. Di panel Lineage explorer, pilih kriteria filter—misalnya, Arah, Jenis dependensi, atau Rentang waktu—lalu klik Terapkan.

   Tindakan ini akan membuka tampilan fokus dalam wilayah tertentu (Pratinjau). Tampilan ini secara otomatis memperluas grafik hingga tiga tingkat node. Untuk mengetahui informasi selengkapnya, lihat Menerapkan filter untuk tampilan silsilah yang terfokus.

8. Dalam tampilan Grafik yang difokuskan, pilih node, lalu di panel detail node, klik Visualisasikan Jalur untuk memvisualisasikan jalur silsilah dari node yang dipilih kembali ke entri root (hanya dalam tampilan yang difokuskan).

   Untuk mengetahui informasi selengkapnya, lihat Visualisasi jalur silsilah.

9. Untuk melihat silsilah tingkat kolom (hanya untuk tugas BigQuery), lakukan salah satu hal berikut:

   • Dalam tampilan Grafik yang difokuskan, klik ikon kolom pada tabel.

     

     Ikon kolom

   • Di panel Penjelajah silsilah, filter menurut nama kolom, lalu klik Terapkan.

   Untuk mengetahui informasi selengkapnya, lihat Silsilah tingkat kolom.

10. Klik Reset.

    Tindakan ini akan menghapus semua filter yang diterapkan dan membawa Anda ke awal tampilan grafik.

11. Klik Daftar untuk beralih ke tampilan daftar.

    Tampilan Daftar menawarkan representasi tabular silsilah yang disederhanakan dan mendetail untuk silsilah tingkat tabel dan tingkat kolom, yang disinkronkan dengan tampilan Grafik. Secara default, tampilan daftar yang disederhanakan ditampilkan, dan Anda dapat beralih ke tampilan daftar detail untuk menganalisis hubungan sumber-target individual. Anda dapat mengonfigurasi kolom yang ditampilkan dan mengekspor data asal. Untuk mengetahui informasi selengkapnya, lihat Tampilan daftar silsilah.

Catatan: Pada grafik silsilah, proses Vertex AI didahului oleh . Proses ini mencakup komponen dan template Vertex AI Pipelines, serta artefak, set data, dan model Vertex ML Metadata. Jika proses dicatat dalam Dataplex Universal Catalog dengan nama domain yang sepenuhnya memenuhi syarat (FQN), Anda dapat mengklik entri dalam grafik silsilah untuk melihat detailnya. Atau, untuk melihat detail grafik silsilah di Vertex AI, klik Open in Vertex AI di panel Details.

Langkah berikutnya

• Melacak silsilah data untuk tugas kueri dan penyalinan tabel BigQuery.

• Pelajari model informasi silsilah data.

• Pelajari pertimbangan silsilah data.

• Pelajari logging audit silsilah data.

• Pelajari cara memecahkan masalah asal-usul data.

• Pelajari cara berintegrasi dengan OpenLineage.