Membaca dari database PostgreSQL

Halaman ini menjelaskan cara membaca data dari database PostgreSQL di instance Cloud Data Fusion.

Sebelum memulai

  • Buat instance Cloud Data Fusion.
  • Aktifkan database PostgreSQL Anda untuk menerima koneksi dari Cloud Data Fusion. Untuk melakukannya dengan aman, sebaiknya gunakan instance Cloud Data Fusion pribadi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk terhubung ke database PostgreSQL, minta administrator untuk memberi Anda peran IAM berikut:

  • Dataproc Worker (roles/dataproc.worker) di akun layanan Dataproc dalam project yang berisi cluster
  • Cloud Data Fusion Runner (roles/datafusion.runner) di akun layanan Dataproc dalam project yang berisi cluster
  • Untuk menggunakan Cloud SQL tanpa Proxy Auth Cloud SQL: Cloud SQL Client (roles/cloudsql.client) di project yang berisi instance Cloud SQL

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuka instance di Cloud Data Fusion

  1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

  2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

    Buka Instance

Menyimpan sandi PostgreSQL sebagai kunci aman

Masukkan sandi PostgreSQL Anda sebagai kunci aman untuk dienkripsi di instance Cloud Data Fusion. Untuk mengetahui informasi selengkapnya tentang kunci, lihat Cloud KMS.

  1. Di UI Cloud Data Fusion, klik System admin > Configuration.

  2. Klik Make HTTP Calls.

    Konfigurasi.

  3. Di menu dropdown, pilih PUT.

  4. Di kolom jalur, masukkan namespaces/default/securekeys/pg_password.

  5. Di kolom Body, masukkan {"data":"POSTGRESQL_PASSWORD"}. Ganti POSTGRESQL_PASSWORD dengan sandi PostgreSQL Anda.

  6. Klik Send.

    Sandi.

Kolom Response akan memberi tahu Anda tentang error apa pun.

Menghubungkan ke Cloud SQL untuk PostgreSQL

  1. Di UI Cloud Data Fusion, klik menu dan buka halaman Wrangler.

  2. Klik Add connection.

  3. Pilih Database sebagai jenis sumber untuk terhubung.

    Tambahkan koneksi.

  4. Di bagian Google Cloud SQL for PostgreSQL, klik Upload.

    Pilih sumber.

  5. Upload file JAR yang berisi driver PostgreSQL Anda. File JAR Anda harus mengikuti format NAME-VERSION.jar. Jika file JAR Anda tidak mengikuti format ini, ganti namanya sebelum Anda mengupload.

  6. Klik Next.

  7. Masukkan nama driver, nama class, dan versi di kolom.

  8. Klik Finish.

  9. Di jendela Add connection yang terbuka, klik Google Cloud SQL for PostgreSQL. Nama JAR Anda akan muncul di bagian Google Cloud SQL for PostgreSQL.

    JAR diupload.

  10. Isi kolom koneksi yang diperlukan. Di kolom Password, pilih kunci aman yang Anda simpan sebelumnya. Hal ini memastikan sandi Anda diambil menggunakan Cloud KMS.

    Pilih sandi.

  11. Di kolom Connection string, masukkan string koneksi Anda sebagai: 

    jdbc:postgresql://google/DATABASE_NAME?cloudSqlInstance=INSTANCE_CONNECTION_NAME&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false

    Ganti kode berikut:

    • DATABASE_NAME: nama database Cloud SQL seperti yang tercantum di tab Databases pada halaman detail instance.
    • INSTANCE_CONNECTION_NAME: nama koneksi instance Cloud SQL seperti yang ditampilkan di tab Overview pada halaman detail instance.
    Nama koneksi instance.

    Contoh: 

    jdbc:postgresql://google/postgres?cloudSqlInstance=dis-demo:us-central1:pgsql-1&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false

  12. Aktifkan Cloud SQL Admin API.

  13. Klik Test connection untuk memastikan koneksi dapat dibuat dengan database.

  14. Klik Add connection.

Setelah database PostgreSQL Anda terhubung, Anda dapat menerapkan transformasi ke data Anda (di Wrangler), membuat pipeline, dan menulis output ke sink (di Studio).