Melacak silsilah data dengan Knowledge Catalog

Halaman ini menjelaskan cara melacak silsilah data untuk instance Looker (Google Cloud core) Anda menggunakan Knowledge Catalog.

Silsilah data adalah proses pelacakan cara data mengalir melalui sistem Anda. Dengan mengintegrasikan Looker (Google Cloud core) dengan Knowledge Catalog, Anda dapat memvisualisasikan perjalanan menyeluruh data Anda dari sumbernya di BigQuery melalui lapisan semantik Looker (tampilan dan Eksplorasi LookML) hingga konsumsi downstream di dasbor, Look, dan agen AI atau data.

Visibilitas ini memberikan pelacakan silsilah dua arah untuk tata kelola data, analisis dampak, dan alur kerja audit:

  • Analisis dampak downstream: Prediksi dasbor, Eksplorasi, dan konsumen downstream mana yang terpengaruh sebelum Anda membuat perubahan skema atau model. Misalnya, sebelum menghapus kolom dalam tabel BigQuery, Anda dapat memeriksa grafik silsilah untuk melihat dasbor Looker mana yang mungkin rusak.
  • Audit data upstream: Lacak asal, transformasi, dan rantai pengawasan metrik yang ditampilkan di dasbor eksekutif dan Look.

Sebelum memulai

Untuk menggunakan silsilah data dengan Looker (Google Cloud core), Anda harus memenuhi prasyarat berikut:

  1. Looker (Google Cloud core): Silsilah data didukung untuk semua jenis edisi instance Looker (Google Cloud core). Instance Looker (asli) tidak terintegrasi dengan Knowledge Catalog.

  2. Izin yang Diperlukan: Untuk melihat grafik silsilah, Anda memerlukan peran IAM berikut:

    • Looker Schema Viewer (roles/looker.schemaViewer) di project yang menghosting instance Looker (Google Cloud core). Peran ini diperlukan untuk melihat metadata khusus Looker (Google Cloud core) yang mengisi panel samping saat melihat grafik silsilah.

    • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) atau izin yang setara untuk melihat aset Knowledge Catalog

    • Data Lineage Viewer (roles/datalineage.viewer) untuk membaca data silsilah

Mengaktifkan silsilah data

Untuk mengaktifkan silsilah data, selesaikan setiap langkah berikut:

  1. Mengaktifkan integrasi Knowledge Catalog untuk Looker (Google Cloud core): Integrasi antara instance Looker (Google Cloud core) dan Knowledge Catalog diaktifkan secara default di konsol Google Cloud . Jika integrasi telah dinonaktifkan, Anda harus mengaktifkannya lagi. Lihat Mengaktifkan integrasi untuk mengetahui petunjuknya.
  2. Aktifkan fitur pratinjau Silsilah Knowledge Catalog di dalam Looker: Fitur pratinjau Silsilah Knowledge Catalog dinonaktifkan secara default di halaman Fitur Pratinjau pada panel Admin dalam instance Looker (Google Cloud core) Anda.
  3. Mengaktifkan Data Lineage API: Anda harus mengaktifkan Data Lineage API (datalineage.googleapis.com) di setiap Google Cloud project yang menghosting instance Looker (Google Cloud core) dan data BigQuery Anda.

    Mengaktifkan Data Lineage API

  4. Mengaktifkan penyerapan silsilah tingkat layanan: Ensure integrasi tingkat layanan silsilah dan Looker (Google Cloud core) diaktifkan. Silsilah tingkat layanan mematuhi status default berikut:
    • Untuk mencegah implikasi harga di masa mendatang, penyerapan silsilah tingkat layanan Looker (Google Cloud core) dinonaktifkan secara default untuk project yang, pada tanggal rilis pratinjau fitur ini, telah mengaktifkan Data Lineage API dan menghosting setidaknya satu instance Looker (Google Cloud core).
    • Penyerapan silsilah tingkat layanan diaktifkan secara default untuk instance Looker (Google Cloud core) yang dibuat setelah tanggal rilis pratinjau fitur ini di project yang mengaktifkan Data Lineage API.

Untuk melihat konfigurasi silsilah untuk project Google Cloud , lihat dokumentasi Mendapatkan konfigurasi saat ini. Jika integrasi dengan Looker (Google Cloud core) dinonaktifkan, perintah akan menampilkan output yang mirip dengan berikut ini:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Project ID dalam respons akan mencerminkan ID dalam permintaan Anda. Kolom etag adalah checksum yang dihasilkan oleh server dan didasarkan pada nilai konfigurasi saat ini.

Melihat silsilah data

Setelah integrasi diaktifkan dan sinkronisasi awal selesai (yang mungkin memerlukan waktu hingga 24 jam), Anda dapat melihat silsilah di konsol Knowledge Catalog.

  1. Di konsol Google Cloud , buka halaman Knowledge Catalog.

    Buka Knowledge Catalog

  2. Klik Search di panel navigasi sebelah kiri.
  3. Telusuri tabel BigQuery atau aset Looker (Google Cloud core) (seperti dasbor atau Explore).
    • Anda dapat menggunakan panel Filters untuk memfilter menurut System > Looker.
  4. Klik nama aset untuk membuka halaman detailnya.
  5. Klik tab Silsilah.

Grafik silsilah menampilkan aset sebagai node pusat, dengan sumber upstream di sebelah kiri dan konsumen downstream di sebelah kanan. Tata letak dua arah ini memungkinkan Anda mengevaluasi dampak downstream di sebelah kanan, atau melacak provenance upstream dan tabel sumber di sebelah kiri.

Menafsirkan grafik silsilah

Grafik silsilah terdiri dari node dan link:

  • Node: Merepresentasikan aset data. Aset Looker (Google Cloud core) yang didukung mencakup hal berikut:
    • Dasbor Looker
    • Elemen dasbor Looker (kartu)
    • Looker Look
    • Eksplorasi LookML
    • Tabel virtual LookML
  • Link: Mewakili aliran data. Misalnya, link dari tabel BigQuery ke tampilan LookML menunjukkan bahwa tampilan tersebut memilih data dari tabel tersebut.

Mengidentifikasi pemilik aset

Untuk mengetahui siapa pemilik aset downstream yang mungkin terpengaruh oleh perubahan, ikuti langkah-langkah berikut:

  1. Di grafik silsilah, klik node untuk aset (misalnya, dasbor Looker).
  2. Panel informasi akan terbuka di sisi kanan layar.
  3. Cari bagian Aspects untuk menemukan Pemilik (alamat email).

Memfilter daftar silsilah

Saat berada dalam tampilan Daftar untuk silsilah, Anda dapat memfilter entity berdasarkan nama atau nilai properti. Misalnya, model LookML yang kompleks dapat menghasilkan grafik silsilah yang besar dengan banyak entity perantara. Untuk berfokus pada dampak bisnis, Anda dapat memfilter menurut jenis entity dengan mengikuti langkah-langkah berikut:

  1. Di tab Lineage, beralihlah ke tampilan List.
  2. Temukan opsi Filter di toolbar.
  3. Di filter Entity, masukkan Looker Dashboard dan Looker Look untuk memfilter jenis perantara seperti LookML View dan Looker Explore.

Daftar entitas akan diperbarui untuk hanya menampilkan jenis aset yang dipilih, sehingga memudahkan identifikasi konten yang ditampilkan kepada pengguna.

Batasan

Integrasi silsilah Looker (Google Cloud core) memiliki batasan berikut selama rilis pratinjau:

  • Sumber Data: Dalam pratinjau, silsilah hanya didukung untuk sumber data BigQuery.
  • Granularitas: Silsilah disediakan di tingkat objek (tabel, tampilan, Explore, dasbor). Silsilah tingkat kolom tidak didukung.
  • Latensi: Data silsilah tidak real-time. Proses sinkronisasi biasanya memerlukan waktu empat jam. Namun, sinkronisasi mungkin memerlukan waktu hingga delapan jam, bergantung pada waktu ekspor metadata Looker dan pemakaian data silsilah. Perubahan yang dibuat di Looker atau BigQuery mungkin memerlukan waktu beberapa saat untuk muncul di grafik silsilah.
  • SQL kompleks: LookML yang ditentukan dengan SQL kustom yang kompleks (misalnya, template Liquid, tabel turunan dengan join yang kompleks) mungkin tidak diuraikan sepenuhnya, sehingga berpotensi menghasilkan node yang terputus.

Harga

Selama rilis pratinjau, fitur silsilah data yang digunakan dengan integrasi ini tidak dikenai biaya.

Saat silsilah data mencapai ketersediaan umum, harga akan dikenakan. Untuk mencegah implikasi harga di masa mendatang, penyerapan silsilah Looker (Google Cloud core) dinonaktifkan secara default untuk project yang, pada tanggal rilis pratinjau fitur ini, telah mengaktifkan Data Lineage API dan menghosting setidaknya satu instance Looker (Google Cloud core).

Untuk mengetahui informasi selengkapnya, lihat halaman harga Knowledge Catalog.

Langkah berikutnya