Menggunakan garis keturunan data dengan sistem Google Cloud

Melihat asal-usul data untuk memahami hubungan antara resource project Anda dan proses yang membuatnya. Hubungan ini menunjukkan bagaimana aset data, seperti tabel dan set data, diubah oleh proses seperti kueri dan pipeline. Panduan ini menjelaskan cara mengakses grafik silsilah di Dataplex Universal Catalog, BigQuery, dan Vertex AI.

Anda dapat melihat detail silsilah data di konsol Google Cloud atau mengambilnya menggunakan Data Lineage API.

Peran dan izin

Silsilah data melacak informasi silsilah secara otomatis saat Anda mengaktifkan Data Lineage API. Anda tidak memerlukan peran administrator atau editor untuk merekam silsilah aset data.

Untuk melihat silsilah data, Anda memerlukan izin Identity and Access Management (IAM) tertentu. Informasi silsilah dicatat di seluruh project, sehingga Anda memerlukan izin di beberapa project.

Saat melihat silsilah di Dataplex Universal Catalog, BigQuery, atau Vertex AI: Anda memerlukan izin untuk melihat informasi silsilah di project tempat Anda melihatnya.
Saat melihat silsilah yang direkam di project lain: Anda memerlukan izin untuk melihat informasi silsilah di project tempat silsilah tersebut direkam.

Untuk mendapatkan izin yang Anda perlukan untuk melihat silsilah data, minta administrator untuk memberi Anda peran IAM berikut:

Viewer Silsilah Data (roles/datalineage.viewer) pada project tempat silsilah dicatat, dan project tempat silsilah dilihat
Melihat detail tabel BigQuery: BigQuery Data Viewer (roles/bigquery.dataViewer) pada project penyimpanan tabel
Melihat detail tugas BigQuery: BigQuery Resource Viewer (roles/bigquery.resourceViewer) di project komputasi tugas
Melihat detail aset yang dikatalogkan lainnya: Pelihat Katalog Dataplex (roles/dataplex.catalogViewer) pada project tempat entri katalog disimpan

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk melihat silsilah data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk melihat silsilah data:

Lihat detail tabel BigQuery: bigquery.tables.get - project penyimpanan tabel
Melihat detail tugas BigQuery: bigquery.jobs.get - project komputasi tugas

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Silsilah data melacak informasi silsilah secara otomatis saat Anda mengaktifkan Data Lineage API. Anda tidak memerlukan peran administrator atau editor untuk merekam silsilah aset data.

Jenis tampilan silsilah data

Anda dapat melihat informasi silsilah sebagai grafik atau daftar. Grafik silsilah menampilkan silsilah tingkat tabel secara default. Untuk tugas BigQuery, Anda dapat melihat silsilah tingkat kolom dalam tampilan grafik dan daftar.

Jenis tampilan berikut tersedia:

Tampilan grafik: menampilkan silsilah sebagai grafik interaktif, sehingga Anda dapat menjelajahi hubungan antara aset dan kolom data dengan meluaskan node.
Tampilan daftar: menampilkan silsilah dalam format tabel, yang memberikan representasi silsilah tingkat tabel dan tingkat kolom yang disederhanakan dan mendetail. Anda dapat menyesuaikan kolom dan mengekspor data silsilah dari tampilan ini.

Elemen utama dalam grafik dijelaskan sebagai berikut:

Node: menampilkan entity data. Dalam tampilan tingkat tabel, sebuah node menampilkan nama tabel dan kolomnya. Dalam tampilan tingkat kolom, setiap node mewakili tabel tertentu dan kolomnya yang memiliki silsilah.
Edge: garis yang menghubungkan node dan merepresentasikan proses yang terjadi di antara keduanya. Tepi dapat menampilkan ikon atau label untuk memberikan informasi lebih lanjut tentang transformasi:
- Icons: Dalam tampilan tingkat tabel, ikon muncul di tepi untuk merepresentasikan proses transformasi. Saat Anda menjelajahi grafik secara manual, ikon pada tepi merepresentasikan sistem sumber proses (misalnya, BigQuery atau Vertex AI). Jika ada beberapa proses yang terlibat, ikon 'beberapa proses' akan ditampilkan. Jika sistem sumber proses tidak diketahui, ikon roda gigi akan digunakan. Saat Anda menerapkan filter, ikon roda gigi digunakan untuk semua proses.
- Label: Dalam tampilan tingkat kolom, tepi diberi label untuk mendeskripsikan jenis dependensi antar-kolom, seperti Exact copy atau Other.

Mengaktifkan silsilah data

Aktifkan silsilah data untuk mulai melacak informasi silsilah secara otomatis untuk sistem yang didukung. Secara default, mengaktifkan API akan mengaktifkan pelacakan asal untuk sebagian besar layanan yang didukung. Untuk mengontrol penyerapan silsilah Dataproc, lihat Mengontrol penyerapan silsilah untuk layanan.

Anda harus mengaktifkan Data Lineage API di project tempat Anda melihat silsilah dan project tempat silsilah dicatat. Untuk mengetahui informasi selengkapnya, lihat Jenis project.

Untuk merekam informasi silsilah, selesaikan langkah-langkah berikut:
1. Di konsol Google Cloud , di halaman Project selector, pilih project tempat Anda ingin merekam silsilah.
  
  Buka Pemilih project
2. Aktifkan Data Lineage API.
  
  Aktifkan Data Lineage API
3. Ulangi langkah-langkah sebelumnya untuk setiap project yang ingin Anda rekam silsilahnya.
Di project tempat Anda melihat silsilah, aktifkan Data Lineage API dan Dataplex API.

Aktifkan API

Mengontrol penyerapan silsilah untuk layanan

Setelah Anda mengaktifkan Data Lineage API, layanan akan memulai pelacakan silsilah otomatis untuk sebagian besar layanan yang didukung. Kemudian, Anda dapat mengaktifkan atau menonaktifkan penyerapan silsilah secara selektif untuk integrasi tertentu di tingkat project, folder, atau organisasi. Selama pratinjau, fitur ini hanya mendukung konfigurasi penyerapan untuk Dataproc. Jika Anda menonaktifkan penyerapan silsilah data untuk Dataproc, tindakan ini juga akan menonaktifkan penyerapan silsilah data untuk Dataproc Serverless untuk Apache Spark.

Konfigurasi bersifat hierarkis. Konfigurasi yang paling spesifik akan diutamakan. Misalnya, konfigurasi tingkat project akan menggantikan konfigurasi tingkat folder. Jika tidak ada konfigurasi yang ditetapkan, perilaku default layanan akan digunakan. Untuk Dataproc, defaultnya adalah Diaktifkan.

Setiap perubahan pada konfigurasi mungkin memerlukan waktu hingga 24 jam untuk diterapkan, tetapi biasanya akan diterapkan dalam waktu dua jam.

Untuk Dataproc dan Dataproc Serverless untuk Apache Spark, data silsilah hanya dikirim jika silsilah juga diaktifkan di Dataproc. Untuk mengetahui informasi selengkapnya, lihat Silsilah Spark Dataproc dan Silsilah data Dataproc Serverless untuk Apache Spark.

Untuk mengetahui informasi selengkapnya tentang cara mengontrol penyerapan silsilah, termasuk cara penerapan konfigurasi secara hierarkis, lihat Mengontrol penyerapan silsilah.

Prasyarat

Untuk mengontrol penyerapan silsilah, Anda harus menggunakan Data Lineage API. Pastikan Anda telah mengonfigurasi project klien untuk penagihan dan kuota, karena Data Lineage API adalah API berbasis klien.

Aktifkan datalineage.googleapis.com API di project klien Anda. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan silsilah data.
Tetapkan project klien. Untuk contoh berikut, gunakan header X-Goog-User-Project. Untuk mengetahui informasi selengkapnya, lihat Parameter sistem.

Mendapatkan konfigurasi saat ini

Untuk melihat konfigurasi silsilah saat ini, gunakan metode projects.locations.config.get. Anda dapat mengambil konfigurasi untuk project, folder, atau organisasi.

Contoh berikut menunjukkan cara mendapatkan konfigurasi untuk project:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
     -X GET \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config"

Ganti nilai berikut:

CLIENT_PROJECT_ID: ID project klien Anda yang digunakan untuk penagihan atau kuota.
PROJECT_ID: ID project yang konfigurasinya ingin Anda lihat.

Untuk mendapatkan konfigurasi folder atau organisasi, ganti projects/PROJECT_ID dengan folders/FOLDER_ID atau organizations/ORGANIZATION_ID.

Perintah akan menampilkan salah satu output berikut:

Jika tidak ada konfigurasi yang ditetapkan, Anda akan mendapatkan output dengan objek ingestion kosong:
```
  {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {}
  }
  
```
Dalam hal ini, penyerapan silsilah Dataproc menggunakan setelan default, yaitu enabled.

Jika penyerapan silsilah Dataproc diaktifkan secara eksplisit, Anda akan mendapatkan output berikut:

  {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "DATAPROC"
          },
          "lineageEnablement": {
            "enabled": true
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Jika penyerapan silsilah Dataproc dinonaktifkan, Anda akan mendapatkan output berikut:

  {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "DATAPROC"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Kolom etag dalam respons adalah checksum yang dihasilkan oleh server berdasarkan nilai konfigurasi saat ini. Saat memperbarui konfigurasi menggunakan metode patch, Anda dapat menyertakan nilai etag yang ditampilkan dari permintaan get terbaru dalam isi permintaan. Jika Anda memberikan etag, Dataplex Universal Catalog akan menggunakannya untuk memverifikasi bahwa konfigurasi tidak berubah sejak permintaan baca terakhir Anda. Jika ada ketidakcocokan, permintaan update akan gagal. Tindakan ini mencegah Anda secara tidak sengaja menimpa konfigurasi yang dibuat oleh pengguna lain dalam skenario baca-ubah-tulis. Jika Anda tidak memberikan etag dalam permintaan patch, Dataplex Universal Catalog akan mengganti konfigurasi tanpa syarat.

Menonaktifkan penyerapan silsilah untuk layanan

Untuk menonaktifkan penyerapan silsilah untuk layanan tertentu, gunakan metode projects.locations.config.patch dengan aturan penyerapan yang menetapkan lineageEnablement.enabled ke false untuk integration tertentu.

Untuk mencegah konfigurasi yang dibuat oleh pengguna lain secara tidak sengaja ditimpa dalam skenario baca-ubah-tulis, Anda dapat menyertakan kolom etag dalam isi permintaan. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan konfigurasi saat ini.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
     -X PATCH \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" \
     --data-binary @- << EOF
{
  "ingestion": {
    "rules": [{
      "integrationSelector": {
        "integration": "DATAPROC"
      },
      "lineageEnablement": {
        "enabled": false
      }
    }]
  },
  "etag": "ETAG"
}
EOF

Ganti kode berikut:

CLIENT_PROJECT_ID: ID project klien Anda yang digunakan untuk penagihan atau kuota.
PROJECT_ID: ID project yang konfigurasinya ingin Anda perbarui.
ETAG: Nilai etag yang ditampilkan dari permintaan get terbaru.

Untuk menonaktifkan penyerapan silsilah layanan untuk folder atau organisasi, ganti projects/PROJECT_ID dengan folders/FOLDER_ID atau organizations/ORGANIZATION_ID.

Mengaktifkan penyerapan silsilah untuk layanan

Untuk mengaktifkan penyerapan silsilah untuk layanan tertentu, gunakan metode projects.locations.config.patch dengan aturan penyerapan yang menetapkan lineageEnablement.enabled ke true untuk integration tertentu.

Untuk mencegah konfigurasi yang dibuat oleh pengguna lain ditimpa secara tidak sengaja dalam skenario baca-ubah-tulis, Anda dapat menyertakan kolom etag dalam isi permintaan. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan konfigurasi saat ini.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
     -X PATCH \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" \
     --data-binary @- << EOF
{
  "ingestion": {
    "rules": [{
      "integrationSelector": {
        "integration": "DATAPROC"
      },
      "lineageEnablement": {
        "enabled": true
      }
    }]
  },
  "etag": "ETAG"
}
EOF

Ganti kode berikut:

CLIENT_PROJECT_ID: ID project klien Anda yang digunakan untuk penagihan atau kuota.
PROJECT_ID: ID project yang konfigurasinya ingin Anda perbarui.
ETAG: Nilai etag yang ditampilkan dari permintaan get terbaru.

Untuk mengaktifkan penyerapan silsilah layanan untuk folder atau organisasi, ganti projects/PROJECT_ID dengan folders/FOLDER_ID atau organizations/ORGANIZATION_ID.

Melihat silsilah di Dataplex Universal Catalog

Anda dapat melihat informasi silsilah data di antarmuka web Dataplex Universal Catalog.

Untuk melihat silsilah, ikuti petunjuk berikut:

Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

Buka Penelusuran
Pilih Dataplex Universal Catalog sebagai mode penelusuran.
Telusuri entri yang ingin Anda lihat, lalu klik entri tersebut. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource di Dataplex Universal Catalog.
Klik tab Silsilah.

Tampilan Graph default akan terbuka, yang menampilkan silsilah tingkat tabel di seluruh sistem dan region. Untuk mengetahui informasi selengkapnya, lihat Tampilan grafik silsilah.
Untuk menjelajahi grafik silsilah secara manual, klik Luaskan di samping node untuk memuat lima node lagi sekaligus.

Untuk mengetahui informasi selengkapnya, lihat Menjelajahi grafik silsilah secara manual.
Klik node dalam tampilan Graph.

Panel Detail akan terbuka dengan informasi tentang aset, seperti nama dan jenis yang sepenuhnya memenuhi syarat. Untuk mengetahui informasi selengkapnya, lihat Detail node.
Klik tepi dengan ikon proses di tampilan Grafik.

Panel Query akan terbuka. Untuk mengetahui informasi selengkapnya, lihat Memeriksa logika transformasi dan Audit dan histori proses.
- Untuk memeriksa logika transformasi, klik tab Detail.
- Untuk melihat audit dan histori operasi, klik tab Operasi.
Di panel Lineage explorer, pilih kriteria filter—misalnya, Arah, Jenis dependensi, atau Rentang waktu—lalu klik Terapkan.

Tindakan ini akan membuka tampilan fokus dalam wilayah tertentu (Pratinjau). Tampilan ini secara otomatis memperluas grafik hingga tiga tingkat node. Untuk mengetahui informasi selengkapnya, lihat Menerapkan filter untuk tampilan silsilah yang terfokus.
Dalam tampilan Grafik yang difokuskan, pilih node, lalu di panel detail node, klik Visualisasikan Jalur untuk memvisualisasikan jalur silsilah dari node yang dipilih kembali ke entri root (hanya dalam tampilan yang difokuskan).

Untuk mengetahui informasi selengkapnya, lihat Visualisasi jalur silsilah.
Untuk melihat silsilah tingkat kolom (hanya untuk tugas BigQuery), lakukan salah satu hal berikut:
- Dalam tampilan Grafik yang difokuskan, klik ikon kolom pada tabel.
  
  Ikon kolom
- Di panel Penjelajah silsilah, filter menurut nama kolom, lalu klik Terapkan.
Untuk mengetahui informasi selengkapnya, lihat Silsilah tingkat kolom.
Klik Reset.

Tindakan ini akan menghapus semua filter yang diterapkan dan membawa Anda ke awal tampilan grafik.
Klik Daftar untuk beralih ke tampilan daftar.

Tampilan Daftar menawarkan representasi tabular silsilah yang disederhanakan dan mendetail untuk silsilah tingkat tabel dan tingkat kolom, yang disinkronkan dengan tampilan Grafik. Secara default, tampilan daftar yang disederhanakan ditampilkan, dan Anda dapat beralih ke tampilan daftar detail untuk menganalisis hubungan sumber-target individual. Anda dapat mengonfigurasi kolom yang ditampilkan dan mengekspor data silsilah. Untuk mengetahui informasi selengkapnya, lihat Tampilan daftar silsilah.

Melihat silsilah di BigQuery

Anda dapat melihat informasi silsilah data di antarmuka web BigQuery.