Mengelola resource Datastream menggunakan Knowledge Catalog

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Anda dapat menelusuri dan mengelola resource Datastream menggunakan Knowledge Catalog, yang merupakan platform untuk menyimpan, mengelola, dan mengakses metadata Anda. Gunakan Knowledge Catalog untuk membantu Anda melakukan hal berikut:

• Menemukan, menganalisis, dan memahami metadata Datastream Anda.
• Menjelajahi resource Datastream Anda, seperti aliran data, profil koneksi, dan konfigurasi konektivitas.
• Meningkatkan visibilitas operasional untuk memecahkan masalah dan mengelola pipeline data.
• Menetapkan mekanisme hampir real-time dan berkala untuk penyerapan metadata yang konsisten dengan sinkronisasi langsung dan batch. Untuk mengetahui informasi selengkapnya, lihat Mode sinkronisasi.

Pemodelan Knowledge Catalog

Resource Datastream dimodelkan di Knowledge Catalog dalam grup entri yang dicadangkan, yang dimiliki Knowledge Catalog dan jenis entri tertentu.

Entitas Knowledge Catalog	ID resource
Grup entri	@datastream
Jenis entri	datastream-stream
Jenis entri	datastream-connection-profile
Jenis entri	datastream-private-connection

Jenis penemuan metadata

Penemuan metadata Knowledge Catalog adalah proses otomatis yang memindai sumber data yang terhubung—seperti Datastream—untuk mengidentifikasi aset data dan mengekstrak metadata teknisnya ke Knowledge Catalog.

Proses ini menggunakan sinkronisasi real-time dan berkala untuk menjaga katalog tetap konsisten dengan sistem sumber. Untuk Datastream, metadata untuk semua aliran data, profil koneksi, dan konfigurasi konektivitas pribadi ditemukan secara default:

Resource type	Metadata yang diambil
Aliran Data	Nama Lokasi Negara bagian (misalnya, RUNNING, PAUSED, FAILED) Strategi pengisian ulang Nama profil koneksi sumber dan tujuan Konfigurasi sumber dan tujuan
Profil koneksi	Nama Lokasi Jenis (misalnya, MYSQL, ORACLE, BIGQUERY) Opsi konektivitas Nama host, port, dan nama database
Konfigurasi konektivitas pribadi	Nama Negara bagian/Provinsi Metode konektivitas (misalnya, Private Service Connect atau peering VPC) Detail subnet dan jaringan VPC

Catatan: Knowledge Catalog merujuk pada resource di Datastream dan di layanan Google Cloud lainnya sebagai aset.

Mode sinkronisasi

Datastream menggunakan mode sinkronisasi berikut untuk menjaga Knowledge Catalog tetap konsisten dengan sistem sumber.

• Sinkronisasi live: dalam mode ini, Datastream memublikasikan peristiwa ke topik Pub/Sub saat ada perubahan metadata. Dengan demikian, Knowledge Catalog dapat menerima pembaruan hampir real-time dengan berlangganan topik ini.
• Sinkronisasi batch: dalam mode ini, Datastream secara berkala memublikasikan ekspor metadata lengkap (titik pemeriksaan) ke bucket Cloud Storage yang ditentukan, yang kemudian digunakan Knowledge Catalog untuk menyerap data.

Penelusuran kata kunci dan bahasa alami

Knowledge Catalog mendukung penelusuran kata kunci dan bahasa alami.

• Penelusuran kata kunci memungkinkan Anda menemukan referensi menggunakan kata kunci, filter, dan sintaksis yang ditentukan. Misalnya, Anda dapat memasukkan system=Datastream AND type=Stream untuk melihat semua aliran Datastream.
• Penelusuran natural language (Pratinjau) menggunakan AI untuk memahami kueri semantik. Fitur ini memungkinkan Anda menemukan resource menggunakan bahasa sehari-hari, sehingga tidak memerlukan sintaks yang rumit. Misalnya, Anda dapat memasukkan kueri seperti List all Datastream streams with BigQuery destination.

Untuk mengetahui informasi selengkapnya, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktifkan Dataplex API untuk project.

   Mengaktifkan Dataplex API

2. Pastikan Anda memiliki izin yang diperlukan.

Peran IAM yang diperlukan

Bagian ini menjelaskan peran dan izin yang diperlukan untuk menelusuri resource dan mengakses hasil penelusuran.

Peran yang diperlukan untuk mengakses hasil penelusuran

Untuk menelusuri dan melihat metadata Datastream di Knowledge Catalog, akun utama harus memiliki izin untuk melihat resource Datastream, termasuk izin dataplex.projects.search.

Untuk memberikan izin ini kepada akun utama—seperti pengguna, grup, atau akun layanan—tetapkan peran IAM Datastream Viewer (roles/datastream.viewer) pada project yang berisi resource Datastream.

Operasi Knowledge Catalog	Resource Datastream	Peran atau izin yang diperlukan
Menelusuri resource Datastream	Aliran Data	datastream.streams.get
	Profil koneksi	datastream.connectionProfiles.get
	Konfigurasi konektivitas pribadi	datastream.privateConnections.get

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses. Untuk mengetahui informasi selengkapnya tentang peran IAM Datastream, lihat Peran dan izin IAM untuk Datastream.

Peran yang diperlukan untuk menelusuri entri

Untuk menelusuri entri, Anda memerlukan setidaknya salah satu peran IAM berikut di project yang digunakan untuk penelusuran:

• Admin Katalog Dataplex (roles/dataplex.catalogAdmin)
• Dataplex Catalog Editor (roles/dataplex.catalogEditor)
• Dataplex Catalog Viewer (roles/dataplex.catalogViewer)

Izin pada hasil penelusuran diperiksa secara terpisah dari project yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Menelusuri aset data dengan Knowledge Catalog.

Menelusuri aset Datastream

Gunakan halaman penelusuran Knowledge Catalog di konsol Google Cloud untuk menelusuri aset Datastream.

1. Buka halaman Penelusuran Katalog Pengetahuan.

   Buka Penelusuran

2. Di bagian Choose search platform, pilih Knowledge Catalog.

3. Di panel Filter, klik Sistem, lalu pilih Aliran data.

4. Opsional. Di Alias jenis, Anda dapat memfilter hasil penelusuran ke jenis aset Aliran data tertentu dengan memilih satu atau beberapa alias jenis berikut:

   • Aliran data: untuk menelusuri aliran Datastream.
   • Profil koneksi: untuk menelusuri profil koneksi Datastream.
   • Koneksi: untuk menelusuri konfigurasi konektivitas pribadi Datastream.

Menggunakan kueri untuk melakukan penelusuran kata kunci

Anda dapat menggunakan kolom penelusuran di Knowledge Catalog untuk melakukan kueri penelusuran kata kunci. Misalnya, Anda dapat memasukkan system=Datastream AND type=Stream untuk melihat semua aliran Datastream.

Untuk mengetahui informasi selengkapnya, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Untuk melihat semua aset Datastream, masukkan system=Datastream.

Kemudian, Anda dapat memasukkan kata kunci tertentu. Misalnya, untuk melihat semua aliran Datastream:

system=Datastream AND type=Stream

Untuk melihat semua profil koneksi, masukkan kueri berikut:

system=Datastream AND type=ConnectionProfile

Anda juga dapat menggunakan tanda kurung dan operator logika AND dan OR untuk ekspresi yang kompleks. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Anda dapat langsung memasukkan kueri penelusuran untuk aset Datastream tertentu ke dalam kolom penelusuran. Format string kueri adalah sebagai berikut:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Ganti kode berikut:

• QUERY_STRING: gunakan daftar berikut untuk mengidentifikasi string kueri berdasarkan jenis aset Datastream yang ingin Anda kueri:

  • datastream-stream
  • datastream-connection-profile
  • datastream-private-connection

Contoh kueri mungkin terlihat seperti berikut:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

Harga

Tidak ada biaya untuk menyimpan metadata teknis Datastream di Knowledge Catalog. Harga standar Knowledge Catalog berlaku untuk panggilan API dan penambahan pengayaan metadata bisnis. Untuk mengetahui informasi selengkapnya, lihat halaman harga Knowledge Catalog.

Langkah berikutnya

• Pelajari pengelolaan metadata di Knowledge Catalog.
• Pelajari peran Identity and Access Management Knowledge Catalog.