Mengelola resource Looker (Google Cloud core) dengan Knowledge Catalog

Halaman ini menjelaskan cara menelusuri dan mengelola resource metadata Looker (Google Cloud core) menggunakan Knowledge Catalog.

Knowledge Catalog adalah platform yang menyimpan, mengelola, dan menyediakan akses ke metadata Anda. Platform ini berfungsi sebagai alat katalogisasi yang mengindeks metadata LookML produksi, project LookML, dan dasbor dari Looker (Google Cloud core). Integrasi ini memberikan tampilan terpadu dan komprehensif dari aset data dan hubungannya, termasuk silsilah data.

Knowledge Catalog mengambil beberapa tingkat entity dari Looker, yang mencakup hal berikut:

  • Instance Looker
  • Dasbor
  • Elemen dasbor
  • Look
  • Project LookML
  • Model
  • Jelajahi
  • Tampilan (yang berisi dimensi dan ukuran)

Cara kerja integrasi

Integrasi Looker dan Knowledge Catalog menggunakan konektor pihak pertama untuk pemrosesan metadata. Looker (Google Cloud core) memublikasikan metadata LookML ke repositori Cloud Storage regional agar dapat digunakan oleh Knowledge Catalog melalui proses sinkronisasi batch proses.

Transmisi data dari Looker (Google Cloud core) ke Knowledge Catalog otomatis secara default dan tidak memerlukan perubahan konfigurasi. Looker (Google Cloud core) menggunakan layanan internal untuk melakukan sinkronisasi. Proses sinkronisasi batch internal berjalan kira-kira setiap empat jam, dan data dari Looker diperbarui kira-kira setiap jam ke Knowledge Catalog.

Saat Anda memperbarui model LookML dan mengirimkannya ke produksi, sistem akan otomatis menyinkronkan metadata utama dengan Knowledge Catalog. Metadata ini mencakup detail tampilan dan Jelajahi, definisi kolom, dan informasi model. Demikian pula, metadata dasbor, termasuk judul, kepemilikan, dan statistik penggunaan, akan muncul di katalog.

Kapan harus menggunakan Knowledge Catalog dengan Looker

Gunakan Knowledge Catalog untuk menemukan dan memahami metadata Looker Anda. Katalog ini membantu aktivitas berikut:

  • Analisis Dampak: Gunakan silsilah data untuk memvisualisasikan aliran data dari BigQuery ke dasbor Looker.
  • Penemuan: Telusuri dasbor, Jelajahi, dan tampilan di seluruh organisasi Anda.
  • Pengelolaan perubahan: Pahami dependensi sebelum melakukan perubahan.
  • Pipeline pergerakan data: Lacak asal data.

Dengan Knowledge Catalog, Anda juga dapat menyeleksi metadata dengan melampirkan aspek ke entri metadata Looker. Melampirkan aspek ke aset Looker memungkinkan Anda menambahkan metadata bisnis ke aset dan menelusuri aset berdasarkan metadata tersebut.

Izin yang diperlukan

Untuk mendapatkan izin yang diperlukan agar dapat menggunakan integrasi Knowledge Catalog dan Looker (Google Cloud core), minta administrator untuk memberi Anda peran IAM berikut pada project tempat instance Looker (Google Cloud core) Anda berada:

  • Untuk melihat resource Knowledge Catalog: Dataplex Viewer (roles/dataplex.viewer)
  • Untuk mengakses metadata Looker (Google Cloud core) di Knowledge Catalog: Looker Schema Viewer (roles/looker.schemaViewer)
    • Peran bawaan Looker Schema Viewer berisi izin looker.schemas.view, yang diperlukan untuk mengakses metadata Looker (Google Cloud core) di Knowledge Catalog.
  • Untuk menonaktifkan atau mengaktifkan integrasi antara Knowledge Catalog dan Looker (Google Cloud core): Looker Admin (roles/looker.admin)
  • Untuk melihat grafik silsilah data: Data Lineage Viewer (roles/datalineage.viewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda

Knowledge Catalog diaktifkan secara default di instance Looker (Google Cloud core). Untuk menonaktifkan integrasi, lihat bagian Menonaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda di halaman dokumentasi ini.

Jika integrasi dinonaktifkan di instance Anda dan Anda ingin mengaktifkannya, selesaikan langkah-langkah berikut:

console

  1. Mengaktifkan Dataplex API. Untuk melihat metadata yang diproses, Anda harus mengaktifkan Cloud Dataplex API (dataplex.googleapis.com) di Google Cloud project yang menghosting instance Looker (Google Cloud core) Anda.

    Mengaktifkan Dataplex API

  2. Di tab Details halaman Instance instance, klik Edit.
  3. Luaskan bagian Universal catalog integration.
  4. Hapus centang pada kotak Opt out of Dataplex Catalog integration.
    • Catatan: Mengaktifkan setelan ini akan mengaktifkan pemrosesan metadata dan silsilah data (jika Data Lineage API diaktifkan).
  5. Klik Save.

gcloud

Pastikan Dataplex API diaktifkan di Google Cloud project yang menghosting instance Looker (Google Cloud core) Anda.

Gunakan perintah gcloud looker instances update dengan flag --catalog-integration-enabled untuk mengaktifkan integrasi:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Ganti INSTANCE_NAME dengan nama instance Looker (Google Cloud core).

Setelah integrasi diaktifkan, perlu waktu hingga satu hari agar data Looker tersedia di Knowledge Catalog.

Menelusuri aset Looker

Untuk melihat data Looker (Google Cloud core) di Knowledge Catalog, Anda harus mengaktifkan Dataplex API terlebih dahulu. Untuk mendapatkan izin yang diperlukan agar dapat mengaktifkan API, Anda harus memiliki peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin).

Mengaktifkan Dataplex API

Gunakan halaman Search Knowledge Catalog di Google Cloud console untuk menelusuri aset Looker (Google Cloud core).

Buka Penelusuran

Di panel Filters , Anda dapat memfilter aset Looker (Google Cloud core) menggunakan bagian Project, System, dan Type aliases. Di bagian System, Anda dapat memfilter Looker. Di Type aliases, Anda dapat memfilter hasil penelusuran ke jenis aset Looker tertentu dengan memilih satu atau beberapa hal berikut:

  • Dasbor
  • Elemen dasbor
  • Jelajahi
  • Project LookML
  • Model
  • Instance
  • Tampilan
  • Lainnya

Anda juga dapat menggunakan kolom penelusuran untuk melakukan kueri penelusuran. Anda dapat melakukan penelusuran kata kunci atau bahasa natural. Misalnya, untuk melihat semua aset Looker melalui penelusuran kata kunci, masukkan system=Looker. Untuk melihat semua dasbor Looker, masukkan kueri system=Looker AND type=DASHBOARD. Aset berikut tersedia untuk penelusuran dengan kata kunci type:

  • dashboard
  • dashboard_element
  • explore
  • instance
  • look
  • lookml_project
  • model
  • view

Untuk mempelajari lebih lanjut cara menelusuri resource, lihat halaman dokumentasi Menelusuri resource di Knowledge Catalog. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat halaman dokumentasi Sintaksis penelusuran untuk Knowledge Catalog.

Menonaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda

Untuk menonaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda, selesaikan langkah-langkah berikut.

console

  1. Di tab Details halaman Instance instance, klik Edit.
  2. Luaskan bagian Universal catalog integration.
  3. Centang kotak Opt out of Dataplex Catalog integration.
    • Catatan: Menonaktifkan setelan ini akan menonaktifkan pemrosesan metadata dan silsilah data (jika Data Lineage API diaktifkan).
  4. Klik Save.

gcloud

Gunakan perintah gcloud looker instances update dengan flag --no-catalog-integration-enabled untuk mengaktifkan integrasi:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Ganti INSTANCE_NAME dengan nama instance Looker (Google Cloud core).

Jika integrasi dinonaktifkan setelah diaktifkan, metadata Looker yang sudah ada di Knowledge Catalog akan tetap ada di Knowledge Catalog, tetapi tidak akan diperbarui dengan metadata baru.

Kontrol Layanan VPC

Integrasi antara Looker (Google Cloud core) dan Knowledge Catalog mendukung Kontrol Layanan VPC.

Jika instance Looker (Google Cloud core) atau resource Knowledge Catalog Anda berada dalam perimeter layanan Kontrol Layanan VPC, Anda harus memastikan bahwa layanan yang diperlukan untuk ekspor metadata dapat diakses.

  • Pastikan Dataplex API (dataplex.googleapis.com) dikonfigurasi sebagai layanan yang dibatasi dalam perimeter Anda.
  • Integrasi ini menggunakan bucket Cloud Storage internal untuk mentransfer metadata. Pastikan perimeter layanan Anda mengizinkan akses ke resource Cloud Storage yang diperlukan. Hubungi tim akun atau dukungan Anda jika Anda mengalami PERMISSION_DENIED error yang terkait dengan ekspor metadata. Google Cloud

Harga

Tidak ada biaya untuk menyimpan metadata teknis Looker (Google Cloud core) di Knowledge Catalog. Harga Knowledge Catalog standar berlaku untuk panggilan API dan pengayaan metadata bisnis tambahan. Untuk mengetahui informasi selengkapnya, lihat halaman harga Knowledge Catalog.

Batasan

Bagian ini mencantumkan batasan penggunaan Looker (Google Cloud core) dan Knowledge Catalog:

  • Metadata dari Looker tidak langsung tersedia di katalog. Proses sinkronisasi batch berjalan pada interval yang ditetapkan, dan pembaruan data terjadi kira-kira setiap jam.
  • Tidak ada API publik yang diekspos untuk integrasi ini.
  • Untuk batasan silsilah data, lihat halaman Melacak silsilah data dengan Knowledge Catalog.

Langkah berikutnya