Melacak silsilah data dengan Knowledge Catalog

Halaman ini menjelaskan cara melacak silsilah data untuk instance Looker (inti Google Cloud) menggunakan Knowledge Catalog.

Silsilah data adalah proses melacak cara data mengalir melalui sistem Anda. Dengan mengintegrasikan Looker (inti Google Cloud) dengan Knowledge Catalog, Anda dapat memvisualisasikan perjalanan data end-to-end dari sumbernya di BigQuery melalui lapisan semantik Looker (tampilan LookML dan Jelajah) hingga penggunaan hilir di dasbor dan Look.

Visibilitas ini membantu administrator dan engineer data melakukan analisis dampak. Misalnya, sebelum menghapus kolom dalam tabel BigQuery, Anda dapat memeriksa diagram silsilah untuk melihat secara persis dasbor Looker mana yang akan rusak akibat perubahan tersebut.

Sebelum memulai

Untuk menggunakan silsilah data dengan Looker (inti Google Cloud), Anda harus memenuhi prasyarat berikut:

  1. Looker (Google Cloud core): Silsilah data didukung untuk semua jenis edisi instance Looker (Google Cloud core). Instance Looker (asli) tidak terintegrasi dengan Knowledge Catalog.
  2. Izin yang Diperlukan: Untuk melihat grafik silsilah, Anda memerlukan peran IAM berikut:
    • Looker Schema Viewer (roles/looker.schemaViewer) di project yang menghosting instance Looker (Google Cloud core)
    • Dataplex Viewer (roles/dataplex.viewer) atau izin yang setara untuk melihat aset Knowledge Catalog
    • Pelihat Silsilah Data (roles/datalineage.viewer) untuk membaca data silsilah

Mengaktifkan silsilah data

Untuk mengaktifkan silsilah data, selesaikan setiap langkah berikut:

  1. Aktifkan integrasi Katalog Universal untuk Looker (Google Cloud core): Integrasi antara instance Looker (Google Cloud core) dan Knowledge Catalog diaktifkan secara default di konsol Google Cloud . Jika integrasi telah dinonaktifkan, Anda harus mengaktifkannya kembali. Lihat Mengaktifkan integrasi untuk mengetahui petunjuknya.
  2. Aktifkan fitur pratinjau Silsilah Knowledge Catalog di Looker: Fitur pratinjau Silsilah Knowledge Catalog dinonaktifkan secara default di halaman Fitur Pratinjau pada panel Admin dalam instance Looker (inti Google Cloud) Anda.
  3. Aktifkan Data Lineage API: Anda harus mengaktifkan Data Lineage API (datalineage.googleapis.com) di project Google Cloud mana pun yang menghosting instance Looker (Google Cloud core) dan data BigQuery Anda.

    Aktifkan Data Lineage API

  4. Aktifkan penyerapan silsilah tingkat layanan: Ensure integrasi tingkat layanan silsilah dan Looker (inti Google Cloud) diaktifkan. Silsilah tingkat layanan mematuhi status default berikut:
    • Untuk mencegah implikasi harga di masa mendatang, penyerapan silsilah tingkat layanan Looker (Google Cloud core) dinonaktifkan secara default untuk project yang, pada tanggal rilis pratinjau fitur ini, telah mengaktifkan Data Lineage API dan menghosting setidaknya satu instance Looker (Google Cloud core).
    • Penyerapan silsilah tingkat layanan diaktifkan secara default untuk instance Looker (inti Google Cloud) yang dibuat setelah tanggal rilis pratinjau fitur ini di project dengan Data Lineage API yang diaktifkan.

Untuk melihat konfigurasi silsilah project Google Cloud , lihat dokumentasi Mendapatkan konfigurasi saat ini. Jika integrasi dengan Looker (Google Cloud core) dinonaktifkan, perintah akan menampilkan output yang mirip dengan berikut ini:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Project ID dalam respons akan mencerminkan ID dalam permintaan Anda. Kolom etag adalah checksum yang dihasilkan oleh server dan didasarkan pada nilai konfigurasi saat ini.

Melihat silsilah data

Setelah integrasi diaktifkan dan sinkronisasi awal selesai (yang mungkin memerlukan waktu hingga 24 jam), Anda dapat melihat silsilah di konsol Knowledge Catalog.

  1. Di konsol Google Cloud , buka halaman Knowledge Catalog.

    Buka Knowledge Catalog

  2. Klik Penelusuran di panel navigasi kiri.
  3. Cari tabel BigQuery atau aset Looker (inti Google Cloud) (seperti dasbor atau Jelajah).
    • Anda dapat menggunakan panel Filter untuk memfilter menurut Sistem > Looker.
  4. Klik nama aset untuk membuka halaman detailnya.
  5. Klik tab Silsilah.

Grafik silsilah menampilkan aset sebagai node pusat, dengan sumber hulu di sebelah kiri dan konsumen hilir di sebelah kanan.

Menafsirkan grafik silsilah

Grafik silsilah terdiri dari node dan link:

  • Node: Merepresentasikan aset data. Aset Looker (Google Cloud core) yang didukung mencakup hal berikut:
    • Dasbor Looker
    • Elemen dasbor Looker (kartu)
    • Tampilan Looker
    • Eksplorasi LookML
    • Tampilan LookML
  • Link: Merepresentasikan aliran data. Misalnya, link dari tabel BigQuery ke tampilan LookML menunjukkan bahwa tampilan memilih data dari tabel tersebut.

Mengidentifikasi pemilik aset

Untuk mengetahui siapa pemilik aset hilir yang mungkin terpengaruh oleh perubahan, ikuti langkah-langkah berikut:

  1. Di grafik silsilah, klik node untuk aset (misalnya, dasbor Looker).
  2. Panel informasi akan terbuka di sisi kanan layar.
  3. Cari bagian Aspek untuk menemukan Pemilik (alamat email).

Memfilter daftar silsilah

Saat berada di tampilan Daftar untuk silsilah, Anda dapat memfilter entitas menurut nama atau nilai properti. Misalnya, model LookML yang kompleks dapat menghasilkan diagram silsilah yang besar dengan banyak entity perantara. Untuk berfokus pada dampak bisnis, Anda dapat memfilter menurut jenis entitas dengan mengikuti langkah-langkah berikut:

  1. Di tab Silsilah, beralihlah ke tampilan Daftar.
  2. Temukan opsi Filter di toolbar.
  3. Di filter Entitas, masukkan Dasbor Looker dan Tampilan Looker untuk mengecualikan jenis perantara seperti Tampilan LookML dan Eksplorasi Looker.

Daftar entitas diperbarui untuk menampilkan hanya jenis aset yang dipilih, sehingga memudahkan identifikasi konten yang ditampilkan kepada pengguna.

Batasan

Integrasi silsilah Looker (Google Cloud core) memiliki batasan berikut selama rilis pratinjau:

  • Sumber Data: Dalam pratinjau, silsilah hanya didukung untuk sumber data BigQuery.
  • Perincian: Silsilah disediakan di tingkat objek (tabel, tampilan, Eksplorasi, dasbor). Silsilah tingkat kolom tidak didukung.
  • Latensi: Data silsilah tidak bersifat real-time. Proses sinkronisasi biasanya memerlukan waktu empat jam. Namun, sinkronisasi dapat memakan waktu hingga delapan jam, bergantung pada waktu ekspor metadata Looker dan penggunaan data silsilah. Perubahan yang dilakukan di Looker atau BigQuery mungkin memerlukan waktu beberapa saat untuk muncul di grafik silsilah.
  • SQL Kompleks: LookML yang ditentukan dengan SQL kustom yang kompleks (misalnya, template Liquid, tabel turunan dengan gabungan yang kompleks) mungkin tidak sepenuhnya diuraikan, sehingga berpotensi menghasilkan node yang terputus.

Harga

Selama rilis pratinjau, tidak ada biaya untuk fitur asal data yang digunakan dengan integrasi ini.

Saat silsilah data tersedia secara umum, biaya akan dikenakan. Untuk mencegah implikasi harga di masa mendatang, penyerapan silsilah Looker (inti Google Cloud) dinonaktifkan secara default untuk project yang, pada tanggal rilis pratinjau fitur ini, telah mengaktifkan Data Lineage API dan menghosting setidaknya satu instance Looker (inti Google Cloud).

Untuk mengetahui informasi selengkapnya, lihat halaman harga Knowledge Catalog.

Langkah berikutnya