Konfigurasi jaringan Managed Service for Apache Spark

Dokumen ini menjelaskan persyaratan untuk konfigurasi jaringan Managed Service untuk Apache Spark.

Persyaratan subnetwork Virtual Private Cloud

Dokumen ini menjelaskan persyaratan jaringan Virtual Private Cloud untuk workload batch dan sesi interaktif Managed Service untuk Apache Spark.

Akses Google Pribadi

Workload batch dan sesi interaktif Managed Service untuk Apache Spark berjalan di VM dengan alamat IP internal saja dan di subnetwork regional dengan Akses Google Pribadi (PGA) yang diaktifkan secara otomatis di subnetwork.

Jika Anda tidak menentukan subnetwork, Managed Service untuk Apache Spark akan memilih subnetwork default di region workload atau sesi batch sebagai subnetwork untuk workload atau sesi batch.

Jika workload Anda memerlukan akses internet atau jaringan eksternal, misalnya, untuk mendownload resource seperti model ML dari PyTorch Hub atau Hugging Face, Anda dapat menyiapkan Cloud NAT untuk mengizinkan traffic keluar menggunakan IP internal di jaringan VPC.

Konektivitas subnetwork terbuka

Subnetwork VPC untuk region yang dipilih untuk workload batch atau sesi interaktif Managed Service untuk Apache Spark harus mengizinkan komunikasi internal di semua port antara instance VM dalam subnetwork.

Untuk mencegah skrip berbahaya dalam satu workload memengaruhi workload lain, Managed Service untuk Apache Spark men-deploy langkah-langkah keamanan default measures.

Perintah Google Cloud CLI berikut melampirkan firewall jaringan ke subnetwork yang mengizinkan komunikasi masuk internal antar-VM menggunakan semua protokol di semua port:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Catatan:

  • SUBNET_RANGES: Lihat Mengizinkan koneksi masuk internal antar- VM. Jaringan VPC default dalam project dengan aturan firewall default-allow-internal, yang mengizinkan komunikasi masuk di semua port (tcp:0-65535, udp:0-65535, dan icmp protocols:ports), memenuhi persyaratan konektivitas subnetwork terbuka. Namun, aturan ini juga mengizinkan masuk oleh instance VM apa pun di jaringan.

Kebijakan firewall sistem regional yang dibuat secara otomatis

Untuk memenuhi persyaratan konektivitas subnetwork terbuka, workload batch dan sesi interaktif Managed Service untuk Apache Spark yang menggunakan versi runtime 3.0 atau yang lebih baru akan otomatis membuat kebijakan firewall sistem regional dataproc-firewall-policy-[network-id]-region atau dataproc-fw-[network-id]-region di subnetwork VPC batch atau sesi. Kebijakan ini berisi aturan masuk dan keluar berikut.

Nama Tujuan Prioritas Arah Tindakan Sumber dan Tujuan Protokol dan port
dataproc-allow-internal-ingress-rule-[subnetworkId] Mengizinkan semua komunikasi internal yang diperlukan hanya dari VM Managed Service untuk Apache Spark bertag lain dalam subnetwork yang sama. 4 MASUK IZINKAN
  • srcSecureTag: nilai tag aman untuk subnetwork ini.
  • targetSecureTags:nilai tag aman untuk subnetwork ini.
    		•  tcp:0-65535, udp:0-65535, icmp protocols:ports
    dataproc-allow-internal-egress-rule-[subnetworkId] Mengizinkan VM Managed Service untuk Apache Spark mendownload paket, misalnya pip dan apt-get, serta mengakses Google API menggunakan Akses Google Pribadi. 5 KELUAR IZINKAN
  • destIpRanges: 0.0.0.0/0.
  • targetSecureTags:nilai tag aman untuk subnetwork ini.
    		•  tcp:0-65535, udp:0-65535, icmp protocols:ports

    Catatan:

    • Managed Service untuk Apache Spark menyediakan project tenant yang terkait dengan project pengguna untuk menyimpan tag aman. Managed Service untuk Apache Spark membuat tag aman untuk subnetwork di project tenant dan melampirkannya ke VM Managed Service untuk Apache Spark, yang memastikan bahwa kebijakan firewall sistem yang dibuat hanya berlaku untuk VM Managed Service untuk Apache Spark.

    • Kebijakan firewall sistem yang dibuat secara otomatis tidak didukung untuk VPC Bersama.

    Managed Service untuk Apache Spark dan jaringan VPC-SC

    Dengan Kontrol Layanan VPC, administrator jaringan dapat menentukan perimeter keamanan di sekitar resource layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara beberapa layanan tersebut.

    Pertimbangkan strategi berikut saat Anda menggunakan jaringan VPC-SC dengan Managed Service untuk Apache Spark:

    Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC— Managed Service untuk Apache Spark.