Konfigurasi jaringan Managed Service for Apache Spark

Mengonfigurasi jaringan Virtual Private Cloud (VPC) untuk Managed Service untuk Apache Spark memungkinkan Anda menghubungkan workload dengan aman ke resource project internal dan Google API. Setelan subnetwork dan firewall ini membantu driver dan eksekutor Spark berkomunikasi secara langsung sekaligus mematuhi kebijakan keamanan organisasi Anda.

Persyaratan jaringan VPC

Dokumen ini menjelaskan persyaratan jaringan VPC untuk workload batch dan sesi interaktif Managed Service untuk Apache Spark.

Akses Google Pribadi

Workload batch dan sesi interaktif Managed Service untuk Apache Spark berjalan di VM dengan alamat IP internal saja dan di subnet regional dengan Akses Google Pribadi (PGA) diaktifkan secara otomatis di subnet.

Jika Anda tidak menentukan subnet, Managed Service untuk Apache Spark akan memilih subnet default di workload batch atau region sesi sebagai subnet untuk workload batch atau sesi.

Jika workload Anda memerlukan akses jaringan eksternal atau akses internet, misalnya, untuk mendownload resource seperti model ML dari PyTorch Hub atau Hugging Face, Anda dapat menyiapkan Cloud NAT untuk mengizinkan traffic keluar menggunakan IP internal di Jaringan VPC Anda.

Konektivitas subnet terbuka

Subnet VPC untuk region yang dipilih untuk workload batch atau sesi interaktif Managed Service untuk Apache Spark harus mengizinkan komunikasi internal di semua port antara instance VM dalam subnet.

Untuk mencegah skrip berbahaya di satu workload memengaruhi workload lain, Managed Service untuk Apache Spark men-deploy langkah-langkah keamanan default.

Perintah Google Cloud CLI berikut memasang firewall jaringan ke subnet yang mengizinkan komunikasi ingress internal di antara VM menggunakan semua protokol di semua port:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Catatan:

  • SUBNET_RANGES: Lihat Mengizinkan koneksi ingress internal antar-VM. Jaringan VPC default dalam project dengan aturan firewall default-allow-internal, yang mengizinkan komunikasi masuk di semua port (tcp:0-65535, udp:0-65535, dan icmp protocols:ports), memenuhi persyaratan open-subnet-connectivity. Namun, aturan ini juga mengizinkan traffic masuk oleh instance VM apa pun di jaringan.

Kebijakan firewall sistem regional yang dibuat secara otomatis

Untuk memenuhi persyaratan konektivitas subnet terbuka, workload batch dan sesi interaktif Managed Service untuk Apache Spark yang menggunakan runtime versi 3.0 atau yang lebih baru akan otomatis membuat kebijakan firewall sistem regional dataproc-firewall-policy-[network-id]-region atau dataproc-fw-[network-id]-region di subnet VPC batch atau sesi. Kebijakan ini berisi aturan ingress dan egress berikut.

Nama Tujuan Prioritas Arah Tindakan Sumber dan Tujuan Protokol dan port
dataproc-allow-internal-ingress-rule-[subnetworkId] Mengizinkan semua komunikasi internal yang diperlukan hanya dari VM Managed Service untuk Apache Spark lain yang diberi tag dalam subnet yang sama. 4 INGRESS IZINKAN
  • srcSecureTag: nilai tag aman untuk subnet ini.
  • targetSecureTags:nilai tag aman untuk subnet ini.
    		•  tcp:0-65535, udp:0-65535, icmp protocols:ports
    dataproc-allow-internal-egress-rule-[subnetworkId] Memungkinkan VM Managed Service untuk Apache Spark mendownload paket, misalnya pip dan apt-get, serta mengakses Google API menggunakan Akses Google Pribadi. 5 EGRESS IZINKAN
  • destIpRanges: 0.0.0.0/0.
  • targetSecureTags:nilai tag aman untuk subnet ini.
    		•  tcp:0-65535, udp:0-65535, icmp protocols:ports

    Catatan:

    • Managed Service untuk Apache Spark menyediakan project tenant yang terkait dengan project pengguna untuk menyimpan tag aman. Managed Service untuk Apache Spark membuat tag aman untuk subnet di project tenant dan melampirkannya ke VM Managed Service untuk Apache Spark, yang memastikan bahwa kebijakan firewall sistem yang dibuat hanya berlaku untuk VM Managed Service untuk Apache Spark.

    • Kebijakan firewall sistem yang dibuat secara otomatis tidak didukung untuk VPC Bersama.

    Managed Service untuk Apache Spark dan jaringan VPC-SC

    Dengan Kontrol Layanan VPC, administrator jaringan dapat menentukan perimeter keamanan di sekitar resource layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara layanan tersebut.

    Pertimbangkan strategi berikut saat Anda menggunakan jaringan VPC-SC dengan Managed Service untuk Apache Spark:

    Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC— Managed Service untuk Apache Spark.