Melacak silsilah data dengan Knowledge Catalog

Halaman ini menjelaskan cara melacak silsilah data untuk instance Looker (Google Cloud core) Anda menggunakan Knowledge Catalog.

Silsilah data adalah proses pelacakan cara data mengalir melalui sistem Anda. Dengan mengintegrasikan Looker (Google Cloud core) dengan Knowledge Catalog, Anda dapat memvisualisasikan perjalanan menyeluruh data Anda dari sumbernya di BigQuery melalui lapisan semantik Looker (tampilan dan Eksplorasi LookML) hingga konsumsi downstream di dasbor Looker, Look, dasbor LookML, dan agen Conversational Analytics.

Visibilitas ini memberikan pelacakan silsilah dua arah untuk tata kelola data, analisis dampak, dan alur kerja audit:

  • Analisis dampak downstream: Prediksi dasbor, Eksplorasi, dan konsumen downstream mana yang terpengaruh sebelum Anda membuat perubahan skema atau model. Misalnya, sebelum menghapus kolom dalam tabel BigQuery, Anda dapat memeriksa grafik silsilah untuk melihat dasbor Looker mana yang mungkin rusak.
  • Audit data upstream: Lacak asal, transformasi, dan rantai pengawasan metrik yang ditampilkan di dasbor eksekutif dan Look.

Sebelum memulai

Untuk menggunakan silsilah data dengan Looker (Google Cloud core), Anda harus memenuhi prasyarat berikut:

  1. Looker (Google Cloud core): Silsilah data didukung untuk semua jenis edisi instance Looker (Google Cloud core). Instance Looker (asli) tidak terintegrasi dengan Knowledge Catalog.
  2. Sumber data: Silsilah data hanya didukung untuk sumber data BigQuery.

  3. Izin yang Diperlukan: Untuk melihat grafik silsilah, Anda memerlukan peran IAM berikut:

    • Looker Schema Viewer (roles/looker.schemaViewer) di project yang menghosting instance Looker (Google Cloud core). Peran ini diperlukan untuk melihat metadata khusus Looker (Google Cloud core) yang mengisi panel samping grafik silsilah.

    • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) atau izin yang setara untuk melihat aset Knowledge Catalog

    • Data Lineage Viewer (roles/datalineage.viewer) untuk membaca data silsilah

Mengaktifkan silsilah data

Untuk mengaktifkan silsilah data, selesaikan langkah-langkah berikut di konsol Google Cloud :

  1. Mengaktifkan Data Lineage API: Anda harus mengaktifkan Data Lineage API (datalineage.googleapis.com) di setiap Google Cloud project yang menghosting instance Looker (Google Cloud core) dan data BigQuery Anda.

    Mengaktifkan Data Lineage API

  2. Pastikan penyerapan silsilah tingkat layanan diaktifkan: Pastikan integrasi silsilah tingkat layanan Looker (Google Cloud core) diaktifkan. Penyerapan silsilah diaktifkan secara default untuk instance Looker (Google Cloud core) dalam project yang mengaktifkan Data Lineage API.

Untuk melihat konfigurasi silsilah untuk project Google Cloud , lihat dokumentasi Mendapatkan konfigurasi saat ini. Jika integrasi dengan Looker (Google Cloud core) dinonaktifkan, perintah akan menampilkan output yang mirip dengan berikut ini:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Project ID dalam respons akan mencerminkan ID dalam permintaan Anda. Kolom etag adalah checksum yang dihasilkan oleh server dan didasarkan pada nilai konfigurasi saat ini.

Melihat silsilah data

Setelah integrasi diaktifkan dan sinkronisasi awal selesai (yang mungkin memerlukan waktu hingga 24 jam), Anda dapat melihat silsilah di konsol Knowledge Catalog.

  1. Di konsol Google Cloud , buka halaman Knowledge Catalog.

    Buka Knowledge Catalog

  2. Klik Search di panel navigasi sebelah kiri.
  3. Telusuri tabel BigQuery atau aset Looker (Google Cloud core) (seperti dasbor atau Explore).
    • Anda dapat menggunakan panel Filters untuk memfilter menurut Systems > Looker.
  4. Klik nama aset untuk membuka halaman detailnya.
  5. Klik tab Silsilah.

Grafik silsilah menampilkan aset sebagai node pusat, dengan sumber upstream di sebelah kiri dan konsumen downstream di sebelah kanan. Tata letak dua arah ini memungkinkan Anda mengevaluasi dampak downstream di sebelah kanan, atau melacak provenance upstream dan tabel sumber di sebelah kiri.

Menafsirkan grafik silsilah

Grafik silsilah terdiri dari node dan link:

  • Node: Merepresentasikan aset data. Aset Looker (Google Cloud core) yang didukung mencakup hal berikut:
    • Dasbor Looker
    • Elemen dasbor Looker (kartu)
    • Looker Look
    • Dasbor LookML
    • Agen Looker (agen Analisis Percakapan)
    • Eksplorasi LookML
    • Tabel virtual LookML
  • Link: Mewakili aliran data. Misalnya, link dari tabel BigQuery ke tampilan LookML menunjukkan bahwa tampilan tersebut memilih data dari tabel tersebut.

Mengidentifikasi pemilik aset

Untuk mengetahui siapa pemilik aset downstream yang mungkin terpengaruh oleh perubahan, ikuti langkah-langkah berikut:

  1. Di grafik silsilah, klik node untuk aset (misalnya, dasbor Looker).
  2. Panel informasi akan terbuka di sisi kanan layar.
  3. Cari bagian Aspects untuk menemukan Pemilik (alamat email).

Memfilter daftar silsilah

Saat berada dalam tampilan Daftar untuk silsilah, Anda dapat memfilter entity berdasarkan nama atau nilai properti. Misalnya, model LookML yang kompleks dapat menghasilkan grafik silsilah yang besar dengan banyak entity perantara. Untuk berfokus pada dampak bisnis, Anda dapat memfilter menurut jenis entity dengan mengikuti langkah-langkah berikut:

  1. Di tab Lineage, beralihlah ke tampilan List.
  2. Temukan opsi Filter di toolbar.
  3. Di filter Entity, masukkan Looker Dashboard, LookML Dashboard, dan Looker Look untuk memfilter jenis perantara seperti LookML View dan LookML Explore.

Daftar entitas akan diperbarui untuk hanya menampilkan jenis aset yang dipilih, sehingga memudahkan identifikasi konten yang ditampilkan kepada pengguna.

Batasan

Integrasi silsilah Looker (Google Cloud core) memiliki batasan berikut:

  • Jenis instance: Silsilah hanya didukung untuk instance Looker (Google Cloud core). Instance Looker (asli) tidak mendukung silsilah.
  • Sumber Data: Silsilah hanya didukung untuk sumber data BigQuery.
  • Perincian: Silsilah disediakan di tingkat objek (tabel, tampilan, Explore, dasbor Looker, dasbor LookML, dan agen Analisis Percakapan). Silsilah tingkat kolom tidak didukung.
  • Latensi: Data silsilah tidak real-time. Proses sinkronisasi biasanya memerlukan waktu empat jam. Namun, sinkronisasi mungkin memerlukan waktu hingga delapan jam, bergantung pada waktu ekspor metadata Looker dan pemakaian data silsilah. Perubahan yang dibuat di Looker atau BigQuery mungkin memerlukan waktu beberapa saat untuk muncul di grafik silsilah. Sinkronisasi awal setelah mengaktifkan integrasi mungkin memerlukan waktu hingga 24 jam.
  • SQL kompleks: LookML yang ditentukan dengan SQL kustom yang kompleks (misalnya, template Liquid, tabel turunan dengan join yang kompleks) mungkin tidak diuraikan sepenuhnya, sehingga berpotensi menghasilkan node yang terputus.

Harga

Silsilah data untuk Looker (Google Cloud core) tersedia secara umum. Penetapan harga akan dimulai pada tanggal mendatang dengan pemberitahuan awal yang diberikan melalui Pengumuman Layanan Wajib (MSA).

Untuk mengetahui informasi selengkapnya, lihat halaman harga Knowledge Catalog.

Langkah berikutnya