Membuat instance pribadi dengan Private Service Connect

Halaman ini menjelaskan cara mengonfigurasi Private Service Connect di Cloud Data Fusion.

Tentang Private Service Connect di Cloud Data Fusion

Instance Cloud Data Fusion mungkin perlu terhubung ke resource yang berada di infrastruktur lokal, di Google Cloud, atau di penyedia cloud lain. Saat menggunakan Cloud Data Fusion dengan alamat IP internal, koneksi ke resource eksternal dibuat melalui jaringan Virtual Private Cloud (VPC) di project Google Cloud Anda. Traffic melalui jaringan tidak melewati internet publik. Jika Cloud Data Fusion diberi akses ke jaringan VPC Anda menggunakan peering VPC, ada batasan yang akan terlihat saat Anda menggunakan jaringan skala besar.

Dengan antarmuka Private Service Connect, Cloud Data Fusion terhubung ke VPC Anda tanpa menggunakan peering VPC. Antarmuka Private Service Connect adalah jenis Private Service Connect yang menyediakan cara bagi Cloud Data Fusion untuk memulai koneksi pribadi dan aman ke jaringan VPC konsumen. Hal ini tidak hanya memberikan fleksibilitas dan kemudahan akses (seperti peering VPC), tetapi juga memberikan otorisasi eksplisit dan kontrol sisi konsumen yang ditawarkan Private Service Connect.

Diagram berikut menunjukkan cara deployment antarmuka Private Service Connect di Cloud Data Fusion:

Deployment antarmuka Private Service Connect.

Gambar 1. Deployment antarmuka Private Service Connect

Deskripsi Gambar 1:

  • Virtual machine (VM) yang menjalankan Cloud Data Fusion dihosting di project tenant milik Google. Untuk mengakses resource di VPC pelanggan, VM Cloud Data Fusion menggunakan alamat IP yang ditetapkan oleh antarmuka jaringan Private Service Connect, dari subnet pelanggan. Subnet ini ditambahkan ke lampiran jaringan yang digunakan oleh Cloud Data Fusion.

  • Paket IP yang berasal dari antarmuka Private Service Connect diperlakukan sama dengan paket dari VM di subnet yang sama. Konfigurasi ini memungkinkan Cloud Data Fusion mengakses resource secara langsung di VPC pelanggan atau VPC peer tanpa memerlukan proxy.

  • Resource internet dapat diakses saat Cloud NAT diaktifkan di VPC pelanggan, sementara resource lokal dapat dijangkau melalui interkoneksi.

  • Untuk mengelola ingress atau egress dari Private Service Connect, Anda dapat menerapkan aturan firewall.

Manfaat utama

Berikut adalah manfaat utama menggunakan Cloud Data Fusion dengan Private Service Connect:

  • Kontrol ruang IP yang lebih baik. Anda mengontrol alamat IP yang digunakan Cloud Data Fusion untuk terhubung ke jaringan Anda. Anda memilih subnet tempat alamat IP dialokasikan ke Cloud Data Fusion. Semua traffic dari Cloud Data Fusion memiliki alamat IP sumber dari subnet yang dikonfigurasi.

    Private Service Connect menghilangkan kebutuhan akan alamat IP yang dicadangkan dari VPC pelanggan. Peering VPC memerlukan blok CIDR /22 (1024 alamat IP) per instance Cloud Data Fusion.

  • Peningkatan keamanan dan isolasi. Dengan mengonfigurasi lampiran jaringan, Anda mengontrol layanan mana yang dapat mengakses jaringan Anda.

  • Penyiapan instance Cloud Data Fusion yang disederhanakan. Buat lampiran jaringan per VPC pelanggan hanya satu kali. Tidak perlu menggunakan VM proxy untuk terhubung ke resource di internet, VPC peer, atau lokal.

Konsep utama

Bagian ini menjelaskan konsep yang terlibat dalam Private Service Connect di Cloud Data Fusion.

Lampiran jaringan

Lampiran jaringan adalah resource regional yang digunakan untuk memberi otorisasi Cloud Data Fusion agar dapat menggunakan dan membuat koneksi jaringan secara pribadi, untuk mengakses resource di VPC Anda. Untuk mengetahui informasi selengkapnya, lihat Tentang lampiran jaringan.

VPC Bersama

Berikut adalah kasus penggunaan untuk antarmuka Private Service Connect dengan VPC Bersama:

  • Tim jaringan atau tim infrastruktur memiliki subnet di project host. Tim aplikasi dapat menggunakan subnet ini dari project layanan mereka.

  • Tim aplikasi memiliki lampiran jaringan dalam project layanan. Lampiran jaringan menentukan project tenant Cloud Data Fusion mana yang dapat terhubung ke subnet yang ditautkan ke lampiran jaringan.

Anda dapat membuat lampiran jaringan dalam project layanan. Subnet yang digunakan dalam lampiran jaringan hanya dapat berada di project host.

Diagram berikut menggambarkan kasus penggunaan ini:

Kasus penggunaan antarmuka Private Service Connect dengan VPC Bersama

Gambar 2. Kasus penggunaan antarmuka Private Service Connect dengan VPC Bersama

Deskripsi Gambar 2:

  • Lampiran jaringan ada di project layanan. Lampiran jaringan menggunakan subnet yang termasuk dalam VPC Bersama di project host.

  • Instance Cloud Data Fusion ada di project layanan, dan instance tersebut menggunakan lampiran jaringan dari project layanan untuk membuat konektivitas pribadi.

  • Instance Cloud Data Fusion diberi alamat IP dari subnet di VPC Bersama.

Sebelum memulai

  • Private Service Connect hanya tersedia di Cloud Data Fusion versi 6.10.0 dan yang lebih baru.

  • Anda dapat mengaktifkan Private Service Connect hanya saat membuat instance Cloud Data Fusion baru. Anda tidak dapat memigrasikan instance yang ada untuk menggunakan Private Service Connect.

Harga

Ingress dan egress data melalui Private Service Connect dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat harga Private Service Connect.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna membuat instance Cloud Data Fusion dan lampiran jaringan, minta administrator Anda untuk memberi Anda peran Identity and Access Management (IAM) berikut di project Anda:

Untuk memastikan Cloud Data Fusion memiliki izin yang diperlukan untuk memvalidasi konfigurasi jaringan, minta administrator Anda untuk memberikan peran IAM berikut kepada agen layanan Cloud Data Fusion (dengan format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) di project Anda:

  • Untuk VPC yang terkait dengan lampiran jaringan: Compute Network Viewer (roles/compute.networkViewer)

  • Agar Cloud Data Fusion dapat menambahkan project tenant-nya ke daftar yang diizinkan produsen untuk lampiran jaringan:

    • compute.networkAttachments.get
    • compute.networkAttachments.update
    • compute.networkAttachments.list

    Peran yang paling ketat dengan izin ini adalah peran Compute Network Admin (roles/compute.networkAdmin). Izin ini adalah bagian dari peran Agen Layanan Cloud Data Fusion API (roles/datafusion.serviceAgent), yang otomatis diberikan kepada agen layanan Cloud Data Fusion. Oleh karena itu, tidak ada tindakan yang diperlukan kecuali jika pemberian peran agen layanan telah dihapus secara eksplisit.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang opsi kontrol akses di Cloud Data Fusion, lihat Kontrol akses dengan IAM.

Buat jaringan VPC atau VPC Bersama

Pastikan Anda telah membuat jaringan VPC atau jaringan VPC Bersama.

Mengonfigurasi Private Service Connect

Untuk mengonfigurasi Private Service Connect di Cloud Data Fusion, Anda harus membuat lampiran jaringan terlebih dahulu, lalu membuat instance Cloud Data Fusion dengan Private Service Connect.

Membuat lampiran jaringan

Lampiran jaringan menyediakan serangkaian subnetwork. Untuk membuat lampiran jaringan, ikuti langkah-langkah berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Network attachments:

    Buka Network attachments

  2. Klik Create network attachment.

  3. Di kolom Name, masukkan nama untuk lampiran jaringan Anda.

  4. Dari daftar Network, pilih jaringan VPC atau VPC Bersama.

  5. Dari daftar Region, pilih region Google Cloud . Region ini harus sama dengan instance Cloud Data Fusion.

  6. Dari daftar Subnetwork, pilih rentang subnetwork.

  7. Di Connection preference, pilih Accept connections for selected projects.

    Cloud Data Fusion secara otomatis menambahkan project tenant Cloud Data Fusion ke daftar Project yang diterima saat Anda membuat instance Cloud Data Fusion.

  8. Jangan tambahkan Project yang diterima atau Project yang ditolak.

  9. Klik Create network attachment.

    Membuat lampiran jaringan

gcloud

  1. Buat satu atau beberapa subnetwork. Contoh:

    gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGION

    Lampiran jaringan menggunakan subnetwork ini pada langkah-langkah berikutnya.

  2. Buat resource lampiran jaringan di region yang sama dengan instance Cloud Data Fusion, dengan properti connection-preference ditetapkan ke ACCEPT_MANUAL:

    gcloud compute network-attachments create NAME
--region=REGION
--connection-preference=ACCEPT_MANUAL
--subnets=SUBNET

    Ganti kode berikut:

    • NAME: nama untuk lampiran jaringan Anda.
    • REGION: nama region Google Cloud . Region ini harus sama dengan instance Cloud Data Fusion.
    • SUBNET: nama subnet.

    Output perintah ini adalah URL lampiran jaringan dengan format berikut:

    projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.

    Catat URL ini karena Cloud Data Fusion memerlukannya untuk konektivitas.

REST API

  1. Buat subnet.

  2. Buat lampiran jaringan:

    alias authtoken="gcloud auth print-access-token"
NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME
REGION=REGION
SUBNET=SUBNET
PROJECT_ID=PROJECT_ID

read -r -d '' BODY << EOM
{
  "name": "$NETWORK_ATTACHMENT_NAME",
  "description": "Network attachment for private Cloud Data Fusion",
  "connectionPreference": "ACCEPT_MANUAL",
  "subnetworks": [
    "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET"
  ]
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"

    Ganti kode berikut:

    • NETWORK_ATTACHMENT_NAME: nama untuk lampiran jaringan Anda.
    • REGION: nama region Google Cloud . Region ini harus sama dengan instance Cloud Data Fusion.
    • SUBNET: nama subnet.
    • PROJECT_ID: ID project Anda.

Membuat instance Cloud Data Fusion

Cloud Data Fusion menggunakan blok CIDR /25 (128 IP) untuk resource di project tenant. Rentang ini disebut rentang yang tidak dapat dijangkau atau dicadangkan. Anda dapat menggunakan alamat IP yang sama di VPC, tetapi VM Cloud Data Fusion tidak akan dapat terhubung dengan resource Anda menggunakan rentang ini.

Dalam sebagian besar kasus, hal ini bukan masalah, karena blok CIDR yang tidak dapat dijangkau berada dalam rentang non-RFC 1918 (240.0.0.0/8), secara default. Jika Anda ingin mengontrol rentang yang tidak dapat dijangkau, lihat Konfigurasi lanjutan.

Untuk membuat instance Cloud Data Fusion dengan Private Service Connect yang diaktifkan, ikuti langkah-langkah berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Instances Cloud Data Fusion, lalu klik Create instance.

    Membuat instance

  2. Di kolom Instance name, masukkan nama untuk instance baru Anda.

  3. Di kolom Description, masukkan deskripsi untuk instance Anda.

  4. Dari daftar Region, pilih Google Cloud region tempat Anda ingin membuat instance.

  5. Dari daftar Versi, pilih 6.10 atau yang lebih baru.

  6. Pilih Edisi. Untuk mengetahui informasi selengkapnya tentang harga untuk berbagai edisi, lihat Ringkasan harga Cloud Data Fusion.

  7. Luaskan Advanced options, lalu lakukan hal berikut:

    1. Pilih Aktifkan IP pribadi.

    2. Pilih Private Service Connect sebagai Connectivity type.

    3. Di bagian Network attachment, pilih network attachment yang Anda buat di Create a network attachment.

  8. Klik Buat. Diperlukan waktu hingga 30 menit untuk menyelesaikan proses pembuatan instance.

    Membuat instance Cloud Data Fusion dengan Private Service Connect

REST API

Jalankan perintah berikut:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "networkAttachment": "$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ganti kode berikut:

  • EDITION: edisi Cloud Data Fusion— BASIC, DEVELOPER, atau ENTERPRISE.
  • PROJECT_ID: ID project Anda.
  • REGION: nama region Google Cloud . Region ini harus sama dengan instance Cloud Data Fusion.
  • INSTANCE_ID: ID instance Anda.
  • NETWORK_ATTACHMENT_ID: ID lampiran jaringan Anda.

Konfigurasi lanjutan

Untuk mengaktifkan berbagi subnet, Anda dapat memberikan lampiran jaringan yang sama ke beberapa instance Cloud Data Fusion. Sebaliknya, jika Anda ingin mendedikasikan subnet untuk instance Cloud Data Fusion tertentu, Anda harus memberikan lampiran jaringan tertentu, yang akan digunakan oleh instance Cloud Data Fusion.

Direkomendasikan: Untuk menerapkan kebijakan firewall yang seragam ke semua instance Cloud Data Fusion, gunakan lampiran jaringan yang sama.

Jika Anda ingin mengontrol blok CIDR /25 yang tidak dapat dijangkau oleh Cloud Data Fusion, tentukan properti unreachableCidrBlock saat Anda membuat instance. Contoh:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "unreachableCidrBlock": "$UNREACHABLE_RANGE",
      "networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ganti kode berikut:

  • EDITION: edisi Cloud Data Fusion— BASIC, DEVELOPER, atau ENTERPRISE.
  • PROJECT_ID: ID project Anda.
  • REGION: nama region Google Cloud . Region ini harus sama dengan instance Cloud Data Fusion.
  • INSTANCE_ID: ID instance Anda.
  • NETWORK_ATTACHMENT_ID: ID lampiran jaringan Anda.
  • UNREACHABLE_RANGE: rentang yang tidak dapat dijangkau—misalnya, 10.0.0.0/25.

Keamanan

Bagian ini menjelaskan keamanan antara Cloud Data Fusion dan konsumen.

Cloud Data Fusion untuk keamanan konsumen

Antarmuka Private Service Connect mendukung aturan firewall keluar untuk mengontrol apa yang dapat diakses Cloud Data Fusion dalam VPC Anda. Untuk mengetahui informasi selengkapnya, lihat Membatasi ingress produsen ke konsumen.

Keamanan Consumer to Cloud Data Fusion

VM Cloud Data Fusion dengan antarmuka Private Service Connect memblokir traffic apa pun yang berasal dari VPC Anda dan bukan paket respons.

Langkah-langkah untuk kasus penggunaan koneksi

Bagian berikut menjelaskan kasus penggunaan terkait koneksi untuk instance pribadi.

Mengaktifkan Akses Google Pribadi

Untuk mengakses resource melalui alamat IP internal, Cloud Data Fusion harus membuat cluster Dataproc dan menjalankan pipeline data di subnet yang memiliki Akses Google Pribadi. Anda harus mengaktifkan Akses Google Pribadi untuk subnet yang berisi cluster Dataproc.

  • Jika hanya ada satu subnet di region tempat cluster Dataproc diluncurkan, cluster akan diluncurkan di subnet tersebut.

  • Jika ada beberapa subnet di suatu region, Anda harus mengonfigurasi Cloud Data Fusion untuk memilih subnet dengan Private Google Access untuk meluncurkan cluster Dataproc.

Untuk mengaktifkan Akses Google Pribadi untuk subnet, lihat Konfigurasi Akses Google Pribadi.

Opsional: Aktifkan Peering DNS

Aktifkan Peering DNS dalam kasus berikut:

  • Saat Cloud Data Fusion terhubung ke sistem melalui nama host, dan bukan alamat IP
  • Saat sistem target di-deploy di belakang load balancer, seperti yang terjadi di beberapa deployment SAP