Mengelola resource Looker (Google Cloud core) dengan Dataplex Universal Catalog

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Gunakan formulir masukan dan laporan masalah untuk memberikan masukan atau melaporkan masalah terkait fitur pratinjau ini.

Halaman ini menjelaskan cara Anda dapat menelusuri dan mengelola resource metadata Looker (intiGoogle Cloud ) menggunakan Dataplex Universal Catalog.

Dataplex Universal Catalog adalah platform yang menyimpan, mengelola, dan menyediakan akses ke metadata Anda. Alat ini berfungsi sebagai alat pengatalogan yang mengindeks metadata LookML produksi, project LookML, dan dasbor dari Looker (Google Cloud inti). Integrasi ini memberikan tampilan terpadu dan komprehensif tentang aset data dan hubungannya, termasuk silsilah data.

Dataplex Universal Catalog merekam beberapa tingkat entitas dari Looker, yang mencakup berikut ini:

• Instance Looker
• Dasbor
• Elemen dasbor
• Look
• Project LookML
• Model
• Jelajahi
• Tampilan (yang berisi dimensi dan ukuran)

Cara kerja integrasi

Integrasi Looker dan Dataplex Universal Catalog menggunakan konektor pihak pertama untuk penyerapan metadata. Looker (Google Cloud core) memublikasikan metadata LookML ke repositori Cloud Storage regional agar dapat digunakan oleh Dataplex Universal Catalog melalui proses sinkronisasi batch.

Transmisi data dari Looker (Google Cloud inti) ke Dataplex Universal Catalog bersifat otomatis secara default dan tidak memerlukan perubahan konfigurasi. Looker (Google Cloud core) menggunakan layanan internal untuk melakukan sinkronisasi. Proses sinkronisasi batch internal berjalan kira-kira setiap empat jam, dan data dari Looker diperbarui kira-kira setiap jam ke Dataplex Universal Catalog.

Saat Anda memperbarui model LookML dan mengirimkannya ke produksi, sistem akan otomatis menyinkronkan metadata utama dengan Dataplex Universal Catalog. Metadata ini mencakup detail tampilan dan Eksplorasi, definisi kolom, dan informasi model. Demikian pula, metadata dasbor, termasuk judul, kepemilikan, dan statistik penggunaan, muncul di katalog.

Kapan harus menggunakan Dataplex Universal Catalog dengan Looker

Gunakan Dataplex Universal Catalog untuk menemukan dan memahami metadata Looker Anda. Katalog membantu aktivitas berikut:

• Analisis Dampak: Gunakan asal-usul data untuk memvisualisasikan aliran data dari BigQuery ke dasbor Looker.
• Penemuan: Telusuri dasbor, Eksplorasi, dan tampilan di seluruh organisasi Anda.
• Pengelolaan perubahan: Pahami dependensi sebelum melakukan perubahan.
• Pipeline pemindahan data: Melacak asal data.

Dengan Dataplex Universal Catalog, Anda juga dapat mengelola metadata dengan melampirkan aspek ke entri metadata Looker. Dengan melampirkan aspek ke aset Looker, Anda dapat menambahkan metadata bisnis ke aset dan menelusuri aset berdasarkan metadata tersebut.

Izin yang diperlukan

Untuk mendapatkan izin yang diperlukan guna menggunakan integrasi Katalog Universal Dataplex dan Looker (inti Google Cloud), minta administrator untuk memberi Anda peran IAM berikut pada project tempat instance Looker (inti Google Cloud) Anda berada:

• Untuk melihat resource Dataplex Universal Catalog: Dataplex Viewer (roles/dataplex.viewer)
• Untuk mengakses metadata Looker (Google Cloud core) di Dataplex Universal Catalog: Looker Schema Viewer (roles/looker.schemaViewer)
  • Peran bawaan Pelihat Skema Looker berisi izin looker.schemas.view, yang diperlukan untuk mengakses metadata Looker (inti Google Cloud) di Katalog Universal Dataplex.
• Untuk menonaktifkan atau mengaktifkan integrasi antara Dataplex Universal Catalog dan Looker (Google Cloud core): Admin Looker (roles/looker.admin)
• Untuk melihat grafik silsilah data: Data Lineage Viewer (roles/datalineage.viewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Perhatian: Anda harus memberikan peran Pelihat Skema Looker atau izin looker.schema.view di tingkat project. Pengguna dengan izin ini dapat melihat metadata untuk semua instance Looker (Google Cloud core) dalam project yang mengaktifkan integrasi.

Mengaktifkan integrasi Dataplex Universal Catalog dan instance Looker (Google Cloud core) Anda

Dataplex Universal Catalog diaktifkan di instance Looker (Google Cloud core) secara default. Untuk menonaktifkan integrasi, lihat bagian Menonaktifkan integrasi Dataplex Universal Catalog dan instance Looker (Google Cloud core) Anda di halaman dokumentasi ini.

Jika integrasi dinonaktifkan di instance Anda dan Anda ingin mengaktifkannya, selesaikan langkah-langkah berikut:

console

1. Mengaktifkan Dataplex API. Untuk melihat metadata yang di-ingest, Anda harus mengaktifkan Cloud Dataplex API (dataplex.googleapis.com) di project Google Cloud yang menghosting instance Looker (inti Google Cloud) Anda.

   Mengaktifkan Dataplex API

2. Di tab Details pada halaman Instance instance, klik Edit.
3. Luaskan bagian Integrasi katalog universal.
4. Hapus centang pada kotak Opt out of Dataplex Catalog integration.
   • Catatan: Mengaktifkan setelan ini akan mengaktifkan penyerapan metadata dan silsilah data (jika Data Lineage API diaktifkan).
5. Klik Simpan.

gcloud

Pastikan Dataplex API diaktifkan di Google Cloud project yang menghosting instance Looker (Google Cloud core) Anda.

Gunakan perintah gcloud looker instances update dengan flag --catalog-integration-enabled untuk mengaktifkan integrasi:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Ganti INSTANCE_NAME dengan nama instance Looker (Google Cloud core).

Setelah integrasi diaktifkan, perlu waktu hingga satu hari agar data Looker tersedia di Dataplex Universal Catalog.

Menelusuri aset Looker

Untuk melihat data Looker (inti) di Dataplex Universal Catalog, Anda harus mengaktifkan Dataplex API terlebih dahulu.Google Cloud Untuk mendapatkan izin yang diperlukan untuk mengaktifkan API, Anda harus memiliki peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin).

Mengaktifkan Dataplex API

Gunakan halaman Search Dataplex Universal Catalog di konsol Google Cloud untuk menelusuri aset Looker (intiGoogle Cloud ).

Buka Penelusuran

Di panel Filter, Anda dapat memfilter aset Looker (Google Cloud inti) menggunakan bagian Project, System, dan Type aliases. Di bagian Sistem, Anda dapat memfilter Looker. Di Alias jenis, Anda dapat memfilter hasil penelusuran ke jenis aset Looker tertentu dengan memilih satu atau beberapa opsi berikut:

• Dasbor
• Elemen dasbor
• Jelajahi
• Project LookML
• Model
• Instance
• Lihat
• Lainnya

Anda juga dapat menggunakan kolom penelusuran untuk melakukan kueri penelusuran. Anda dapat melakukan penelusuran kata kunci atau bahasa alami. Misalnya, untuk melihat semua aset Looker melalui penelusuran kata kunci, masukkan system=Looker. Untuk melihat semua dasbor Looker, masukkan kueri system=Looker AND type=DASHBOARD. Aset berikut tersedia untuk penelusuran dengan kata kunci type:

• dashboard
• dashboard_element
• jelajah
• instance
• mencari
• lookml_project
• model
• tampilkan

Untuk mempelajari lebih lanjut cara menelusuri resource, lihat halaman dokumentasi Menelusuri resource di Dataplex Universal Catalog. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat halaman dokumentasi Sintaksis penelusuran untuk Dataplex Universal Catalog.

Menonaktifkan integrasi Dataplex Universal Catalog dan instance Looker (Google Cloud core) Anda

Untuk menonaktifkan integrasi Dataplex Universal Catalog dan instance Looker (inti Google Cloud) Anda, selesaikan langkah-langkah berikut.

console

1. Di tab Details pada halaman Instance instance, klik Edit.
2. Luaskan bagian Integrasi katalog universal.
3. Centang kotak Opt out of Dataplex Catalog integration.
   • Catatan: Menonaktifkan setelan ini akan menonaktifkan penyerapan metadata dan silsilah data (jika Data Lineage API diaktifkan).
4. Klik Simpan.

gcloud

Gunakan perintah gcloud looker instances update dengan flag --no-catalog-integration-enabled untuk mengaktifkan integrasi:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Ganti INSTANCE_NAME dengan nama instance Looker (Google Cloud core).

Jika integrasi dinonaktifkan setelah diaktifkan, metadata Looker yang sudah ada di Dataplex Universal Catalog akan tetap berada di Dataplex Universal Catalog, tetapi tidak akan diperbarui dengan metadata baru.

Kontrol Layanan VPC

Integrasi antara Looker (Google Cloud core) dan Dataplex Universal Catalog mendukung Kontrol Layanan VPC.

Jika instance Looker (inti Google Cloud) atau resource Dataplex Universal Catalog Anda berada dalam perimeter layanan Kontrol Layanan VPC, Anda harus memastikan bahwa layanan yang diperlukan untuk ekspor metadata dapat diakses.

• Pastikan Dataplex API (dataplex.googleapis.com) dikonfigurasi sebagai layanan terbatas dalam perimeter Anda.
• Integrasi ini menggunakan bucket Cloud Storage internal untuk mentransfer metadata. Pastikan perimeter layanan Anda mengizinkan akses ke resource Cloud Storage yang diperlukan. Hubungi tim akun atau dukungan Anda jika Anda mengalami error PERMISSION_DENIED yang terkait dengan ekspor metadata. Google Cloud

Harga

Penyimpanan metadata teknis Looker (Google Cloud core) di Dataplex Universal Catalog tidak dikenai biaya. Harga Dataplex Universal Catalog standar berlaku untuk panggilan API dan penambahan metadata bisnis lainnya. Untuk mengetahui informasi selengkapnya, lihat halaman harga Dataplex Universal Catalog.

Batasan

Bagian ini mencantumkan batasan penggunaan Looker (Google Cloud core) dan Dataplex Universal Catalog:

• Metadata dari Looker tidak langsung tersedia di katalog. Proses sinkronisasi batch berjalan pada interval yang ditetapkan, dan pembaruan data terjadi kira-kira setiap jam.
• Tidak ada API publik yang diekspos untuk integrasi ini.
• Untuk mengetahui batasan silsilah data, lihat halaman Melacak silsilah data dengan Dataplex Universal Catalog.

Langkah berikutnya

• Lacak silsilah data dengan Dataplex Universal Catalog.
• Pelajari pengelolaan metadata di Dataplex Universal Catalog.
• Pelajari cara menelusuri resource di Dataplex Universal Catalog.
• Pelajari cara mengelola aspek dan memperkaya metadata.