Mengimpor metadata dari PostgreSQL

Dokumen ini menjelaskan cara mengimpor metadata dari PostgreSQL ke Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan konektor Knowledge Catalog.

Konektor ini mendukung instance PostgreSQL yang dihosting di infrastruktur lokal, di Cloud SQL, atau di lingkungan cloud lainnya.

Sebelum memulai

Sebelum Anda dapat mengimpor metadata dari PostgreSQL, selesaikan tugas berikut:

  1. Berikan peran dan izin yang diperlukan.
  2. Aktifkan Knowledge Catalog API dan BigQuery Data Transfer Service API.
  3. Penuhi prasyarat PostgreSQL.
  4. Memenuhi prasyarat jaringan.

Peran dan izin IAM

Untuk membuat dan mengelola tugas konektor Knowledge Catalog, Anda memerlukan peran Identity and Access Management (IAM) yang memberikan izin untuk Knowledge Catalog dan BigQuery Data Transfer Service.

Untuk mendapatkan izin yang Anda perlukan guna mengonfigurasi konektor PostgreSQL, minta administrator Anda untuk memberi Anda peran IAM berikut:

Selain itu, Anda harus memberikan izin dataplex.entryGroups.import atau peran Pengimpor Grup Entri Dataplex (roles/dataplex.entryGroupImporter) kepada agen layanan BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com). Anda dapat memberikan peran ini di tingkat project atau tingkat grup entri.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Mengaktifkan API

Aktifkan Knowledge Catalog dan BigQuery Data Transfer Service API.

Aktifkan API

Prasyarat PostgreSQL

Pastikan Anda memenuhi prasyarat untuk transfer PostgreSQL. Untuk mengetahui detailnya, lihat Prasyarat PostgreSQL dalam dokumentasi BigQuery Data Transfer Service.

Selain prasyarat BigQuery Data Transfer Service, database PostgreSQL Anda harus memenuhi persyaratan berikut untuk ekstraksi metadata:

  • Versi minimum: PostgreSQL versi 15 atau yang lebih baru.
  • Izin minimum yang diperlukan: Alat ekstraksi memerlukan izin tertentu agar berhasil mengumpulkan metadata.

Untuk memberikan izin ini, jalankan pernyataan SQL berikut:

  1. Berikan koneksi ke database:

    GRANT CONNECT ON DATABASE DATABASE_NAME TO USERNAME;

  2. Berikan penggunaan pada skema:

    GRANT USAGE ON SCHEMA SCHEMA_NAME TO USERNAME;

  3. Berikan peran baca yang diperlukan kepada pengguna:

    GRANT pg_read_all_data TO USERNAME;
GRANT pg_read_all_settings TO USERNAME;
GRANT pg_read_all_stats TO USERNAME;

Ganti kode berikut:

  • DATABASE_NAME: nama database PostgreSQL yang ingin Anda akses.
  • USERNAME: pengguna database yang ingin Anda konfigurasi.
  • SCHEMA_NAME: nama skema yang ingin Anda akses.

Prasyarat jaringan

Lampiran jaringan untuk koneksi melalui Private Service Connect diperlukan saat terhubung secara aman ke database eksternal atau sumber data cloud pihak ketiga dengan alamat IP pribadi di dalam jaringan pribadi, untuk mengizinkan BigQuery Data Transfer Service mengakses database Anda.

Jika Anda terhubung ke lingkungan lokal atau instance yang dihosting di cloud menggunakan alamat IP publik, lampiran jaringan tidak diperlukan.

Mengonfigurasi konektor PostgreSQL

Konfigurasi konektor PostgreSQL menggunakan Google Cloud konsol atau API.

Konsol

  1. Di konsol Google Cloud , buka halaman Knowledge Catalog.

    Buka Knowledge Catalog

  1. Di menu navigasi, di bagian Manage, klik Connectors.
  2. Klik Tambahkan koneksi.
  3. Di daftar Konektor, pilih kartu PostgreSQL.
  4. Di bagian Data source details, berikan detail koneksi untuk instance PostgreSQL Anda:
    • Untuk Network attachment, pilih network attachment yang ada jika diperlukan, atau buat yang baru.
    • Masukkan Host, Port, Nama database, Nama pengguna, dan Sandi.
    • Jika menggunakan TLS, pilih Mode TLS dan berikan Sertifikat PEM Tepercaya.
    • Untuk Objek metadata PostgreSQL yang akan diimpor, klik Browse untuk memilih objek.
  5. Di bagian Setelan tujuan:
    • Klik Jelajahi dan pilih grup entri Knowledge Catalog yang ada untuk menyimpan metadata yang diimpor, atau klik Buat grup entri baru.
    • Pilih apakah akan menetapkan izin pada grup entri sekarang atau nanti. Sebaiknya tetapkan izin agar pengguna dapat melihat metadata yang diimpor. Jika Anda tidak memberikan peran Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) atau izin dataplex.entryGroups.import kepada agen layanan BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) di tingkat project, Anda harus memberikannya di tingkat grup entri.
  6. Di bagian Connector config name, untuk Display name, masukkan nama untuk tugas impor metadata.
  7. Di bagian Schedule options, konfigurasikan frekuensi untuk tugas impor metadata. Jika Anda memilih Sesuai permintaan, tugas hanya berjalan saat Anda memicunya secara manual.
  8. Opsional: Di bagian Opsi notifikasi, konfigurasi notifikasi email atau Pub/Sub untuk kegagalan tugas.
  9. Opsional: Di bagian Advanced options, konfigurasi setelan enkripsi. Jika Anda memilih kunci enkripsi yang dikelola pelanggan (CMEK), perhatikan bahwa kunci tersebut digunakan untuk mengenkripsi data sementara yang dipersiapkan sebelum memulai tugas impor metadata Knowledge Catalog. Tidak digunakan untuk mengenkripsi metadata dalam grup entri Knowledge Catalog tujuan.
  10. Klik Simpan.

REST

Gunakan metode projects.locations.transferConfigs.create. Di resource TransferConfig, konfigurasi kolom berikut:

  • Tetapkan kolom dataSourceId ke "postgresql".
  • Di kolom metadataDestination, isi objek dataplexConfiguration dengan jalur resource grup entri Knowledge Catalog target: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

Setelah Anda membuat tugas, Knowledge Catalog menjadwalkan tugas pertama sesuai dengan konfigurasi Anda, atau Anda dapat memulainya secara manual.

Menelusuri dan melihat metadata PostgreSQL

  1. Di konsol Google Cloud , buka halaman Penelusuran Knowledge Catalog.

    Buka Penelusuran

  2. Di panel Filter, Anda dapat memfilter aset PostgreSQL menggunakan bagian Project, System, dan Type aliases. Di bagian Sistem, pilih Konteks yang Diimpor. Memilih filter ini akan membuka subbagian Managed Connectors. Pilih PostgreSQL untuk memfilter semua metadata PostgreSQL.

  3. Anda dapat menggunakan kolom penelusuran untuk melakukan kueri penelusuran. Anda dapat melakukan penelusuran kata kunci atau bahasa alami. Misalnya, untuk melihat semua tabel PostgreSQL melalui penelusuran kata kunci, masukkan system=POSTGRESQL AND type=TABLE.

    Untuk mempelajari lebih lanjut cara menelusuri resource, lihat Menelusuri resource di Knowledge Catalog. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran untuk Knowledge Catalog.

  4. Anda juga dapat menggunakan LookupContext API untuk mengambil konteks LLM untuk resource PostgreSQL tertentu.

Langkah berikutnya