Jaringan cluster Managed Service for Apache Spark dengan Private Service Connect

Halaman ini memberikan panduan tentang cara mengonfigurasi konektivitas jaringan untuk cluster Managed Service untuk Apache Spark saat menggunakan Private Service Connect. Halaman ini menjelaskan interaksi antara Private Service Connect dan peering Virtual Private Cloud untuk berbagai kasus penggunaan Managed Service untuk Apache Spark. Halaman ini juga merangkum kesamaan dan perbedaan fitur antara Akses Google Pribadi, Private Service Connect, dan Cloud NAT.

Ringkasan

Cluster Managed Service untuk Apache Spark memerlukan konektivitas jaringan ke Google Cloud API dan layanan, seperti Dataproc API, Cloud Storage, dan Cloud Logging, serta ke resource pengguna, seperti sumber data di jaringan Virtual Private Cloud lain atau lingkungan lokal.

Secara default, cluster Managed Service untuk Apache Spark yang dibuat dengan versi image 2.2 dan yang lebih baru hanya dibuat dengan alamat IP internal. Managed Service untuk Apache Spark secara otomatis mengaktifkan Akses Google Pribadi di subnet regional yang digunakan oleh cluster khusus IP internal untuk mengaktifkan koneksi ke Google API dan layanan Google tanpa terhubung ke internet publik.

Untuk memberikan kontrol jaringan yang lebih terperinci, Anda dapat mengonfigurasi cluster untuk menggunakan Private Service Connect, yang merutekan traffic ke Google API dan layanan yang didukung melalui endpoint pribadi dalam jaringan VPC Anda. Hal ini dapat bermanfaat untuk keamanan dan kepatuhan.

Opsi jaringan pribadi umum

Bagian ini menjelaskan fitur dan perbedaan Akses Google Pribadi, Private Service Connect, dan Cloud NAT.

  • Akses Google Pribadi adalah jalur satu arah bagi VM untuk menjangkau layanan publik Google tanpa menggunakan internet. Akses ini mirip dengan pintu keluar jalan khusus dari lingkungan Anda (subnet VPC) yang mengarah langsung ke pusat layanan Google, tanpa melalui jalan umum. Semua orang di lingkungan tersebut dapat menggunakannya. Managed Service untuk Apache Spark secara otomatis mengaktifkan Akses Google Pribadi di subnet regional yang digunakan oleh cluster Managed Service untuk Apache Spark yang dibuat dengan versi image 2.2 dan yang lebih baru.

  • Private Service Connect membuat endpoint dua arah pribadi untuk layanan yang berada dalam jaringan VPC Anda. Endpoint ini mirip dengan jalur pribadi khusus dari lokasi Anda (jaringan VPC) langsung ke layanan. Endpoint ini memiliki alamat di lokasi Anda (alamat IP internal di jaringan VPC Anda) dan hanya Anda yang dapat menggunakannya.

  • Cloud NAT memungkinkan VM dengan alamat IP pribadi mengakses internet.

Fitur dan perbedaan

Fitur Akses Google Pribadi (PGA) Private Service Connect (PSC)
Cara kerjanya Mengarahkan traffic dari VM ke rentang alamat IP Google khusus (private.googleapis.com). Membuat aturan penerusan (endpoint) di dalam jaringan VPC Anda yang mewakili layanan Google.
Alamat IP VM Anda terhubung ke alamat IP milik Google. VM Anda terhubung ke alamat IP internal yang Anda miliki dalam jaringan VPC Anda.
Arah Hanya keluar: VM Anda memulai koneksi ke Google. Dua arah: VM Anda terhubung ke layanan, dan layanan dapat memulai traffic kembali.
Cakupan Diaktifkan atau dinonaktifkan untuk seluruh subnet. Di-deploy sebagai resource endpoint tertentu.
Layanan Hanya terhubung ke Google API, seperti Cloud Storage, BigQuery, atau Dataproc API. Terhubung ke Google API, layanan dari perusahaan lain, dan layanan Anda sendiri.

Untuk Managed Service untuk Apache Spark, Akses Google Pribadi adalah metode tradisional yang lebih sederhana untuk memungkinkan VM cluster menghubungi bidang kontrol Managed Service untuk Apache Spark. Private Service Connect adalah pendekatan yang lebih baru dan fleksibel yang memberi Anda kontrol terperinci, terutama di jaringan yang kompleks atau multi-tenant.

Mengapa menggunakan Private Service Connect? Meskipun cluster Managed Service untuk Apache Spark Anda memiliki alamat IP khusus internal dengan Akses Google Pribadi yang diaktifkan (konfigurasi default untuk cluster versi image 2.2+), Private Service Connect menawarkan keuntungan berikut:

  • Daripada menggunakan kumpulan endpoint bersama Akses Google Pribadi untuk terhubung ke Google API dan layanan Google, Private Service Connect memungkinkan Anda membuat endpoint pribadi dengan alamat IP internal di dalam jaringan VPC Anda yang dipetakan langsung ke layanan Google tertentu.

  • Anda dapat membuat aturan firewall yang hanya mengizinkan traffic ke alamat IP endpoint Private Service Connect. Misalnya, Anda dapat mengonfigurasi aturan yang mengizinkan traffic keluar dari VM cluster Managed Service untuk Apache Spark secara eksklusif ke alamat IP internal endpoint Private Service Connect untuk BigQuery, sekaligus menolak semua traffic keluar lainnya. Ini adalah pendekatan yang lebih aman daripada membuat aturan firewall yang lebih luas dengan Akses Google Pribadi.

  • Penggunaan endpoint Private Service Connect dalam jaringan VPC Anda membuat jalur jaringan menjadi eksplisit dan lebih mudah diaudit untuk keamanan dan kepatuhan karena traffic ke layanan seperti Cloud Storage tidak berbagi jalur dengan traffic API lainnya.

Jalur pribadi dan publik

Akses Google Pribadi, Private Service Connect, dan Cloud NAT memungkinkan host dengan RFC 1918 alamat menjangkau Google Cloud layanan. Akses ini juga memungkinkan Google Cloud resource dengan alamat pribadi RFC 1918 untuk memulai koneksi ke Google Cloud layanan.

Perbedaan penting yang harus dibuat saat menilai opsi koneksi yang berbeda adalah apakah traffic yang menggunakan koneksi tetap bersifat pribadi atau berjalan melalui internet publik.

  • Akses Google Pribadi dan Private Service Connect menjaga traffic tetap berada dalam jaringan pribadi Google. Data tidak berjalan melalui internet publik untuk menjangkau layanan, yang ideal untuk keamanan dan performa yang dapat diprediksi. Google Cloud

  • Cloud NAT menjangkau layanan dengan terhubung ke endpoint publik untuk layanan tersebut. Google Cloud Traffic keluar dari jaringan VPC Anda melalui gateway NAT dan berjalan melalui internet.

Cara kerja setiap opsi

Berikut adalah ringkasan dari setiap mekanisme koneksi:

Metode Jalur ke layanan Endpoint tujuan Kasus penggunaan utama
Akses Google Pribadi Jaringan pribadi Google Alamat IP Google khusus (private.googleapis.com) Akses tingkat subnet yang sederhana bagi VM untuk menjangkau Google API secara pribadi.
Private Service Connect Jaringan pribadi Google Endpoint alamat IP pribadi di dalam jaringan VPC Anda Akses yang terperinci dan aman ke Google API, pihak ketiga, atau layanan Anda sendiri.
Cloud NAT Internet publik Alamat IP publik layanan Akses internet keluar tujuan umum untuk VM dengan alamat IP pribadi.

Mengonfigurasi Private Service Connect

Untuk menggunakan Private Service Connect dengan cluster Managed Service untuk Apache Spark, Anda harus mengonfigurasi endpoint Private Service Connect dan DNS yang diperlukan di jaringan VPC Anda untuk semua Google API yang bergantung pada Managed Service untuk Apache Spark. Untuk mengetahui petunjuk tentang cara menyiapkan subnet dan mengonfigurasi DNS, lihat Tentang mengakses Google API melalui endpoint.

Mengaktifkan peering jika diperlukan

Meskipun Private Service Connect menyediakan akses pribadi ke banyak layanan Google, Anda mungkin juga perlu mengaktifkan peering VPC, terutama dalam skenario berikut:

  • Jaringan Virtual Private Cloud lainnya: Private Service Connect terhubung ke layanan yang dikelola Google, bukan langsung ke jaringan VPC pelanggan lainnya. Jika sumber data, aplikasi kustom, atau layanan lainnya berada di jaringan VPC yang berbeda dengan cluster Managed Service untuk Apache Spark Anda, biasanya peering VPC diperlukan untuk mengaktifkan komunikasi pribadi antara jaringan ini.

  • Jaringan lokal: Jika cluster Managed Service untuk Apache Spark Anda mengakses data atau layanan di lingkungan lokal, Anda akan memerlukan koneksi Cloud VPN atau Cloud Interconnect ke jaringan lokal Anda, yang sering kali dikombinasikan dengan peering VPC.

  • Komunikasi internal yang komprehensif ke layanan Google: Meskipun Private Service Connect menyediakan akses pribadi ke layanan Google yang dikonfigurasi, seperti Cloud Storage dan BigQuery, komunikasi bidang kontrol internal atau fitur Managed Service untuk Apache Spark tertentu mungkin memerlukan peering VPC ke jaringan dengan aksesibilitas layanan Google yang luas untuk mengakses infrastruktur Google yang mendasarinya atau Google API lainnya.

  • Akses ke sumber data di jaringan VPC lain: Jika tugas Managed Service untuk Apache Spark Anda membaca dari atau menulis ke sumber data, seperti Cloud SQL, database yang dikelola sendiri, dan aplikasi kustom, yang berada di jaringan VPC yang berbeda, Anda harus membuat peering VPC antara jaringan VPC cluster Managed Service untuk Apache Spark dan jaringan VPC yang berisi sumber data tersebut. Private Service Connect tidak menyediakan komunikasi jaringan antar-VPC antara jaringan milik pelanggan.

  • Konektivitas hybrid: Untuk deployment hybrid cloud tempat cluster Managed Service untuk Apache Spark perlu berinteraksi dengan resource di pusat data lokal, peering VPC sangat penting untuk menghubungkan jaringan lokal Anda ke Jaringan Google Cloud VPC Anda menggunakan Cloud VPN atau Cloud Interconnect.

Memecahkan masalah Private Service Connect

Jika cluster Managed Service untuk Apache Spark Anda dengan Private Service Connect (tanpa peering VPC) gagal dibuat atau mengalami masalah konektivitas, gunakan langkah-langkah berikut untuk membantu memecahkan masalah dan menyelesaikannya:

  • Konfirmasi akses API yang diperlukan:

    • Pastikan semua Google API yang diperlukan diaktifkan di project Anda. Google Cloud

  • Verifikasi konfigurasi endpoint Private Service Connect:

    • Pastikan endpoint Private Service Connect dikonfigurasi dengan benar untuk semua Google API yang diperlukan cluster, seperti dataproc.googleapis.com, storage.googleapis.com, logging.googleapis.com, bigquery.googleapis.com, compute.googleapis.com.

    • Gunakan alat seperti dig atau nslookup dari VM dalam subnet VPC untuk mengonfirmasi bahwa data DNS untuk layanan yang diperlukan diselesaikan dengan benar ke alamat IP pribadi dalam jaringan VPC Anda menggunakan endpoint Private Service Connect.

  • Periksa aturan firewall:

    • Pastikan aturan firewall di jaringan VPC Anda mengizinkan koneksi keluar dari instance cluster Managed Service untuk Apache Spark ke endpoint Private Service Connect.

    • Jika menggunakan VPC Bersama, pastikan aturan firewall yang sesuai dikonfigurasi di project host.

  • Periksa log cluster Managed Service untuk Apache Spark:

    • Tinjau log pembuatan cluster di Logging untuk mengetahui error terkait jaringan, seperti connection refused, timeout, atau "unreachable host. Error ini dapat menunjukkan rute yang tidak ada atau aturan firewall yang salah. Periksa log konsol serial instance cluster.

  • Nilai kebutuhan peering VPC:

    • Berdasarkan dependensi workload, jika cluster Managed Service untuk Apache Spark Anda memerlukan konektivitas ke resource yang tidak dikelola Google, seperti database di jaringan VPC terpisah dan server lokal, buat peering VPC.

    • Periksa persyaratan jaringan Google Cloud layanan yang berinteraksi dengan cluster Managed Service untuk Apache Spark Anda. Beberapa layanan mungkin memiliki persyaratan peering tertentu meskipun digunakan dengan Private Service Connect.

Mengikuti praktik terbaik

  • Perencanaan arsitektur jaringan yang komprehensif: Sebelum men-deploy Managed Service untuk Apache Spark dengan Private Service Connect, desain arsitektur jaringan Anda dengan cermat, dengan mempertimbangkan semua dependensi implisit dan eksplisit serta jalur aliran data. Hal ini mencakup identifikasi semua Google API yang berinteraksi dengan cluster Managed Service untuk Apache Spark Anda selama penyediaan dan pengoperasian.

  • Uji konektivitas: Uji konektivitas jaringan secara menyeluruh dari cluster Managed Service untuk Apache Spark Anda ke semua layanan dan sumber data yang diperlukan selama fase pengembangan dan staging.

  • Gunakan Network Intelligence Center: Gunakan alat Google Cloud Network Intelligence Center, seperti Uji Konektivitas, untuk mendiagnosis dan memecahkan masalah konektivitas jaringan.

Langkah berikutnya