Mengelola resource Looker (Google Cloud core) dengan Knowledge Catalog

Anda dapat mengelola metadata dari instance Looker (Google Cloud core) menggunakan Knowledge Catalog. Mengelola metadata membantu Anda mengatur data dan membuat keputusan yang tepat.

Knowledge Catalog adalah platform pembuatan katalog data yang menyimpan, mengelola, dan menyediakan akses ke metadata Anda. Agen ini mengindeks LookML produksi, project LookML, dan metadata dasbor dari Looker (Google Cloud core).

Integrasi ini memberikan satu tampilan aset data Anda dan hubungannya, termasuk silsilah data. Saat menggunakan Knowledge Catalog, Anda dapat melakukan analisis dampak, penemuan data, dan pengelolaan perubahan, yang dapat membantu Anda mengintegrasikan data ke dalam alur kerja operasional dan menemukan penggunaan baru untuk data Anda.

Knowledge Catalog menangkap beberapa level entity dari Looker, yang mencakup hal berikut:

• Instance Looker: termasuk ID instance, URL, dan dasbor terkait
• Agen: termasuk kreator, deskripsi, dan sumber data
• Dasbor: termasuk nama, tata letak, filter, dan elemen dasbor terkait
• Elemen dasbor: termasuk jenis, kueri, model, dan Eksplorasi
• Eksplorasi: termasuk label, kueri default, kunci asing, kondisi gabungan (sql_on, relationship, dan type), filter (always_filter, conditionally_filter, access_filter, sql_always_where, dan sql_always_having), skema dengan definisi dimensi dan ukuran, serta sinonim
• Look: termasuk project kreator, Explore, model, dan kolom
• Dasbor LookML: termasuk deskripsi, nama dasbor, tata letak, filter, dan elemen dasbor LookML terkait
• Elemen dasbor LookML: termasuk deskripsi, kueri, kueri gabungan
• Project LookML: termasuk deskripsi dan model terkait
• Model: termasuk jalur, URL project, koneksi, dan tampilan terkait, Eksplorasi, dan dasbor LookML
• Tampilan: termasuk tabel turunan, kunci cluster, kunci utama, dan skema dengan definisi dimensi dan ukuran

Integrasi Knowledge Catalog dan Looker (Google Cloud core) juga merepresentasikan hubungan yang ditentukan, termasuk:

• Link entri reference yang mewakili hubungan antara objek Looker
• Link entri schema-join yang mewakili pengaitan kunci utama dan kunci asing

Cara kerja integrasi

Integrasi Looker dan Knowledge Catalog menggunakan konektor pihak pertama untuk penyerapan metadata. Looker (Google Cloud core) memublikasikan metadata LookML ke repositori Cloud Storage regional agar dapat digunakan oleh Knowledge Catalog melalui proses sinkronisasi langsung.

Transmisi data dari Looker (Google Cloud core) ke Knowledge Catalog bersifat otomatis secara default dan tidak memerlukan perubahan konfigurasi. Looker (Google Cloud core) menggunakan layanan internal untuk melakukan sinkronisasi langsung.

Saat Anda memperbarui model LookML dan mengirimkannya ke produksi, sistem akan otomatis menyinkronkan metadata utama dengan Knowledge Catalog. Metadata ini mencakup detail tampilan dan Eksplorasi, definisi kolom, dan informasi model. Demikian pula, metadata dasbor, termasuk judul, kepemilikan, dan statistik penggunaan, akan muncul di katalog.

Kapan harus menggunakan Knowledge Catalog dengan Looker

Gunakan Knowledge Catalog untuk menemukan dan memahami metadata Looker Anda. Katalog membantu aktivitas berikut:

• Akurasi agen data dan AI: Gunakan model, Eksplorasi, dan tampilan LookML yang diindeks sebagai definisi semantik. Perujukan pembuatan kueri terhadap entri Looker di Knowledge Catalog memastikan bahwa agen AI mematuhi logika bisnis resmi (ukuran, dimensi, dan jalur gabungan yang valid dan tersertifikasi).
• Silsilah menyeluruh (analisis dampak dan asal): Gunakan silsilah data untuk memvisualisasikan cara data mengalir antara sumber data (seperti BigQuery) dan aset Looker di kedua arah:
  • Analisis dampak downstream: Memprediksi dasbor dan Explore mana yang terpengaruh sebelum membuat perubahan skema atau model.
  • Audit data upstream: Mengaudit asal, transformasi, dan rantai pengelolaan metrik yang ditampilkan di dasbor eksekutif dan Look.
• Penemuan dan konsolidasi aset: Telusuri dasbor, Eksplorasi, dan tampilan bersertifikat di seluruh organisasi Anda untuk mencegah pelaporan duplikat dan pemodelan data yang redundan.

Dengan Knowledge Catalog, Anda juga dapat mengumpulkan metadata dengan melampirkan aspek ke entri metadata Looker. Dengan melampirkan aspek ke aset Looker, Anda dapat menambahkan metadata bisnis ke aset dan menelusuri aset berdasarkan metadata tersebut.

Izin yang diperlukan

Untuk mendapatkan izin yang diperlukan agar dapat menggunakan integrasi Knowledge Catalog dan Looker (Google Cloud core), minta administrator untuk memberi Anda peran IAM berikut pada project tempat instance Looker (Google Cloud core) Anda berada:

• Untuk melihat resource Knowledge Catalog: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)

• Untuk mengakses metadata Looker (Google Cloud core) di Knowledge Catalog: Looker Schema Viewer (roles/looker.schemaViewer)

  • Peran bawaan Looker Schema Viewer berisi izin looker.schemas.view, yang diperlukan untuk mengakses metadata Looker (Google Cloud core) di Knowledge Catalog.
  Catatan: Anda hanya dapat menambahkan peran Looker Schema Viewer menggunakan Google Cloud CLI.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  Untuk mengetahui informasi selengkapnya, lihat dokumentasi add-iam-policy-binding.

• Untuk menonaktifkan atau mengaktifkan integrasi antara Knowledge Catalog dan Looker (Google Cloud core): Looker Admin (roles/looker.admin)

• Untuk melihat grafik silsilah data: Data Lineage Viewer (roles/datalineage.viewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Perhatian: Anda harus memberikan peran Looker Schema Viewer atau izin looker.schema.view di level project. Pengguna dengan izin ini dapat melihat metadata untuk semua instance Looker (Google Cloud core) dalam project yang mengaktifkan integrasi.

Mengaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda

Knowledge Catalog diaktifkan di instance Looker (Google Cloud core) secara default. Untuk menonaktifkan integrasi, lihat bagian Menonaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda di halaman dokumentasi ini.

Jika integrasi dinonaktifkan di instance Anda dan Anda ingin mengaktifkannya, selesaikan langkah-langkah berikut:

console

1. Mengaktifkan Dataplex API. Untuk melihat metadata yang diserap, Anda harus mengaktifkan Cloud Dataplex API (dataplex.googleapis.com) di project Google Cloud yang menghosting instance Looker (Google Cloud core) Anda.

   Mengaktifkan Dataplex API

2. Di tab Details pada halaman Instance instance, klik Edit.
3. Luaskan bagian Knowledge Catalog integration.
4. Hapus centang pada kotak Opt out of Knowledge Catalog integration.
   • Catatan: Mengaktifkan setelan ini akan mengaktifkan penyerapan metadata dan silsilah data (jika Data Lineage API diaktifkan).
5. Klik Simpan.

gcloud

Pastikan Dataplex API diaktifkan di project Google Cloud yang menghosting instance Looker (Google Cloud core) Anda.

Gunakan perintah gcloud looker instances update dengan flag --catalog-integration-enabled untuk mengaktifkan integrasi:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Ganti INSTANCE_NAME dengan nama instance Looker (Google Cloud core).

Setelah integrasi diaktifkan, perlu waktu hingga satu hari agar data Looker tersedia di Knowledge Catalog.

Menelusuri aset Looker

Untuk melihat data Looker (Google Cloud core) di Knowledge Catalog, Anda harus mengaktifkan Dataplex API terlebih dahulu. Untuk mendapatkan izin yang diperlukan guna mengaktifkan API, Anda harus memiliki peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin).

Mengaktifkan Dataplex API

Gunakan halaman Search Knowledge Catalog di konsol Google Cloud untuk menelusuri aset Looker (Google Cloud core).

Buka Penelusuran

Di panel Filters, Anda dapat memfilter aset Looker (Google Cloud core) menggunakan bagian Project, Systems, dan Type aliases. Di bagian Systems, Anda dapat memfilter Looker. Di Type aliases, Anda dapat memfilter hasil penelusuran ke jenis aset tertentu.

Jika Anda telah menetapkan filter Systems ke Looker, Anda dapat memfilter jenis aset Looker tertentu dengan memilih satu atau beberapa opsi berikut di bagian Type aliases:

• Agen
• Dasbor
• Elemen dasbor
• Jelajahi
• Instance
• Look
• Project LookML
• Model
• Lihat
• Lainnya

Catatan: Pemfilteran menurut Dashboard akan menampilkan dasbor yang ditentukan pengguna dan dasbor LookML. Pemfilteran menurut Dashboard element akan menampilkan elemen dari dasbor yang ditentukan pengguna dan dasbor LookML.

Anda juga dapat memasukkan kueri penelusuran langsung di kolom penelusuran menggunakan sintaksis kata kunci atau bahasa alami. Misalnya, untuk melihat semua aset Looker, masukkan system=Looker. Untuk melihat semua dasbor Looker, masukkan system=Looker AND type=dashboard.

Tips: Penentu type dan alias jenis tidak spesifik untuk suatu sistem. Misalnya, memfilter hanya berdasarkan type=view (atau hanya memilih View di Type aliases) akan menampilkan tampilan Looker dan tampilan BigQuery. Untuk memfilter secara khusus untuk tampilan Looker, filter pada sistem dan jenis: pilih Looker di Systems dan View di Type aliases, atau masukkan system=Looker AND type=view di kolom penelusuran.

Anda dapat menggunakan nilai berikut dengan pengubah type:

• agent
• dashboard
• dashboard_element
• explore
• instance
• look
• lookml_project
• model
• view

Catatan: Penelusuran menggunakan dashboard akan menampilkan dasbor yang ditentukan pengguna dan dasbor LookML. Penelusuran menggunakan dashboard_element akan menampilkan elemen dari dasbor yang ditentukan pengguna dan dasbor LookML.

Anda juga dapat menelusuri entri BigQuery terkait Looker menggunakan metode lookupEntryLinks. Link entri reference mewakili link dari entri tabel BigQuery ke entri tampilan Looker.

Untuk mempelajari lebih lanjut cara menelusuri resource, lihat Menelusuri resource di Knowledge Catalog. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Menonaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda

Untuk menonaktifkan integrasi Knowledge Catalog dan instance Looker (Google Cloud core) Anda, selesaikan langkah-langkah berikut.

console

1. Di tab Details pada halaman Instance instance, klik Edit.
2. Luaskan bagian Knowledge Catalog integration.
3. Centang kotak Memilih tidak menggunakan integrasi Knowledge Catalog.
   • Catatan: Menonaktifkan setelan ini akan menonaktifkan penyerapan metadata dan silsilah data (jika Data Lineage API diaktifkan).
4. Klik Simpan.

gcloud

Gunakan perintah gcloud looker instances update dengan flag --no-catalog-integration-enabled untuk mengaktifkan integrasi:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Ganti INSTANCE_NAME dengan nama instance Looker (Google Cloud core).

Jika integrasi dinonaktifkan setelah diaktifkan, metadata Looker yang sudah ada di Knowledge Catalog akan tetap ada di Knowledge Catalog, tetapi tidak akan diperbarui dengan metadata baru.

Kontrol Layanan VPC

Integrasi antara Looker (Google Cloud core) dan Knowledge Catalog mendukung Kontrol Layanan VPC.

Jika instance Looker (Google Cloud core) atau resource Knowledge Catalog Anda berada dalam perimeter layanan Kontrol Layanan VPC, Anda harus memastikan bahwa Dataplex API (dataplex.googleapis.com) dikonfigurasi sebagai layanan yang dibatasi dalam perimeter Anda.

Harga

Penyimpanan metadata teknis Looker (Google Cloud core) di Knowledge Catalog tidak dikenai biaya. Harga Knowledge Catalog standar berlaku untuk panggilan API dan pengayaan metadata bisnis tambahan. Untuk mengetahui informasi selengkapnya, lihat halaman harga Knowledge Catalog.

Langkah berikutnya

• Lacak silsilah data dengan Knowledge Catalog.
• Pelajari pengelolaan metadata di Knowledge Catalog.
• Pelajari cara menelusuri resource di Knowledge Catalog.
• Pelajari cara mengelola aspek dan memperkaya metadata.