Mengonfigurasi akses instance Cloud SQL

BigQuery Data Transfer Service memungkinkan Anda mentransfer data dari instance Cloud SQL pribadi di berbagai project Google Cloud melalui alamat IP internal. Untuk membuat koneksi pribadi ini bagi konektor MySQL BigQuery Data Transfer Service atau konektor PostgreSQL BigQuery Data Transfer Service, Anda mengonfigurasi peering Virtual Private Cloud, proxy Cloud SQL, dan lampiran jaringan.

Ringkasan arsitektur

Untuk mentransfer data dari instance Cloud SQL pribadi di satu project ke BigQuery di project lain, BigQuery Data Transfer Service memerlukan jaringan konektor untuk menjembatani konektivitas jaringan pribadi.

Peering Jaringan VPC hanya mendukung komunikasi antara jaringan yang di-peering langsung dan tidak meneruskan traffic dari koneksi lain. Oleh karena itu, traffic yang memasuki jaringan VPC melalui lampiran jaringan Private Service Connect tidak dapat melintasi koneksi peering untuk menjangkau jaringan Cloud SQL yang di-peering. Untuk membuat koneksi ini, VM Compute Engine di jaringan konektor menjalankan Cloud SQL Auth Proxy. Proxy menghentikan koneksi masuk dari lampiran jaringan dan membuat koneksi yang diautentikasi ke instance Cloud SQL melalui jaringan yang di-peering.

Diagram berikut mengilustrasikan komponen jaringan dan jalur data antara BigQuery Data Transfer Service dan instance Cloud SQL pribadi:

Arsitektur jaringan BigQuery Data Transfer Service ke Cloud SQL.

Sebelum memulai

Pastikan Anda memiliki hal berikut:

  • Akses ke project Google Cloud dengan konektor BigQuery Data Transfer Service dan project Google Cloud lainnya dengan instance Cloud SQL.
  • Database MySQL atau PostgreSQL yang ada di project Google Cloud .
  • Izin yang sesuai untuk membuat VPC, membuat aturan firewall, dan menginstal software.
  • Instance virtual machine (VM).

Menyiapkan peering VPC

Untuk menyiapkan peering VPC, Anda harus membuat peering VPC dari project konektor BigQuery Data Transfer Service, membuat peering VPC di project database Cloud SQL ke project BigQuery Data Transfer Service, serta mengonfigurasi rute dan aturan firewall.

Membuat peering VPC dari project konektor BigQuery Data Transfer Service

  1. Di konsol Google Cloud , buka halaman peering Jaringan VPC untuk project konektor BigQuery Data Transfer Service Anda.

    Buka Peering Jaringan VPC

  2. Klik Create peering connection.

  3. Di kolom Nama, masukkan nama konfigurasi peering Anda.

  4. Untuk Your VPC network, pilih jaringan VPC yang ingin Anda peering di project konektor BigQuery Data Transfer Service.

  5. Untuk Jaringan VPC Peered, pilih opsi Di project lain.

  6. Untuk Project ID, masukkan project ID dari project Cloud SQL.

  7. Untuk VPC network name, masukkan nama jaringan VPC di project Cloud SQL.

  8. Klik Create.

Membuat peering VPC di project database Cloud SQL

Untuk membuat peering VPC di project database Cloud SQL ke project BigQuery Data Transfer Service, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Peering Jaringan VPC untuk project konektor BigQuery Data Transfer Service Anda.

    Buka Peering Jaringan VPC

  2. Klik Create peering connection.

  3. Di kolom Nama, masukkan nama konfigurasi peering Anda.

  4. Pilih jaringan VPC yang ingin Anda peering di project database Cloud SQL.

  5. Untuk Peer project ID, masukkan project ID dari project BigQuery Data Transfer Service.

  6. Untuk Peered VPC network, masukkan nama jaringan VPC di project konektor BigQuery Data Transfer Service.

  7. Klik Create.

Mengonfigurasi rute dan aturan firewall

Jika Anda tidak memilih rute impor-ekspor saat mengonfigurasi koneksi peering sebelumnya, ikuti langkah-langkah berikut untuk melakukannya sekarang:

  1. Buka halaman Routes untuk project konektor BigQuery Data Transfer Service Anda.

    Buka Rute

  2. Pastikan rute ada untuk mengizinkan traffic antara lingkungan VPC yang di-peering.

  3. Buka halaman Firewall policies.

    Buka Kebijakan firewall

  4. Buat aturan firewall untuk mengizinkan traffic pada port yang diperlukan (misalnya, port 3306 untuk MySQL dan port 5432 untuk PostgreSQL) di antara jaringan yang di-peering.

  5. Tambahkan aturan firewall kustom yang diperlukan dari project konektor BigQuery Data Transfer Service ke project yang dihosting database Cloud SQL.

  6. Konfigurasikan rute dan aturan firewall untuk project Anda dengan instance Cloud SQL seperti yang Anda lakukan pada langkah sebelumnya.

Menyiapkan proxy Cloud SQL

  1. Gunakan SSH untuk terhubung ke instance virtual machine (VM) di project konektor BigQuery Data Transfer Service.

  2. Di terminal, download proxy Cloud SQL:

    wget https://dl.google.com/cloudsql/cloud_sql_proxy.linux.amd64 -O cloud_sql_proxy

  3. Perbarui izin untuk file yang didownload:

    chmod +x cloud_sql_proxy

  4. Jalankan proxy Cloud SQL:

    ./cloud_sql_proxy -instances=NAME=tcp:3306 or 5432 &

    Ganti NAME dengan nama koneksi instance Cloud SQL Anda.

Menghubungkan ke alamat IP Cloud SQL internal

  1. Gunakan alamat IP internal instance Cloud SQL untuk koneksi.
  2. Konfigurasikan aplikasi atau alat Anda untuk terhubung ke alamat IP internal, dengan menentukan kredensial dan detail database yang sesuai.

Saat terhubung dari project Google Cloud yang berbeda, gunakan alamat IP internal VM proxy yang Anda deploy sebelumnya. Solusi ini menyelesaikan masalah peering transitif.

Membuat lampiran jaringan

Untuk membuat lampiran jaringan di project konektor BigQuery Data Transfer Service, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Network attachments.

    Buka Network attachments

  2. Klik Create network attachment.

  3. Berikan nama untuk lampiran jaringan.

  4. Pilih jaringan VPC yang sesuai.

  5. Untuk Region, tentukan region tempat konektor BigQuery Data Transfer Service Anda berada.

  6. Untuk Subnetwork, pilih opsi yang sesuai dengan penyiapan Anda.

  7. Klik Create network attachment.

Menguji koneksi

  1. Pastikan VM dengan proxy Cloud SQL dapat terhubung ke instance Cloud SQL:

    mysql -u USERNAME -p -h IP_ADDRESS

    Ganti kode berikut:

    • USERNAME: nama pengguna database
    • IP_ADDRESS: alamat IP instance Cloud SQL

  2. Pastikan aplikasi dalam project konektor BigQuery Data Transfer Service dapat terhubung ke instance Cloud SQL menggunakan IP internal.

Memecahkan masalah

Jika Anda mengalami masalah saat menyiapkan konfigurasi jaringan, lakukan hal berikut:

  • Pastikan peering VPC telah dibuat dan rute dikonfigurasi dengan benar.
  • Pastikan aturan firewall mengizinkan traffic di port yang diperlukan.
  • Periksa log proxy Cloud SQL untuk menemukan error dan pastikan proxy tersebut berjalan dengan benar.
  • Pastikan lampiran jaringan dikonfigurasi dan terhubung dengan benar.