Konfigurasi jaringan Managed Service for Apache Spark

Dokumen ini menjelaskan persyaratan untuk konfigurasi jaringan Managed Service for Apache Spark.

Persyaratan subnetwork Virtual Private Cloud

Dokumen ini menjelaskan persyaratan jaringan Virtual Private Cloud untuk workload batch dan sesi interaktif Managed Service for Apache Spark.

Akses Google Pribadi

Managed Service for Apache Spark menjalankan workload batch dan sesi interaktif di VM dengan alamat IP internal saja dan di subnet regional dengan Akses Google Pribadi (PGA) yang diaktifkan secara otomatis di subnet.

Jika Anda tidak menentukan subnet, Managed Service for Apache Spark akan memilih subnet default di region workload batch atau sesi sebagai subnet untuk workload batch atau sesi.

Jika beban kerja Anda memerlukan akses internet atau jaringan eksternal, misalnya, untuk mendownload resource seperti model ML dari PyTorch Hub atau Hugging Face, Anda dapat menyiapkan Cloud NAT untuk mengizinkan traffic keluar menggunakan IP internal di jaringan VPC Anda.

Membuka konektivitas subnet

Subnet VPC untuk region yang dipilih untuk beban kerja batch atau sesi interaktif Managed Service for Apache Spark harus mengizinkan komunikasi internal di semua port antara instance VM dalam subnet.

Untuk mencegah skrip berbahaya dalam satu workload memengaruhi workload lain, Managed Service for Apache Spark men-deploy langkah-langkah keamanan default.

Perintah Google Cloud CLI berikut melampirkan firewall jaringan ke subnet yang mengizinkan komunikasi masuk internal antar-VM menggunakan semua protokol di semua port:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Catatan:

  • SUBNET_RANGES: Lihat Mengizinkan koneksi masuk internal antar-VM. Jaringan VPC default dalam project dengan aturan firewall default-allow-internal, yang mengizinkan komunikasi masuk di semua port (tcp:0-65535, udp:0-65535, dan icmp protocols:ports), memenuhi persyaratan konektivitas subnet terbuka. Namun, aturan ini juga mengizinkan traffic masuk oleh instance VM apa pun di jaringan.

Kebijakan firewall sistem regional yang dibuat secara otomatis

Untuk memenuhi persyaratan konektivitas subnet terbuka, beban kerja batch dan sesi interaktif Managed Service for Apache Spark yang menggunakan versi runtime 3.0 atau yang lebih baru akan otomatis membuat kebijakan firewall sistem regional dataproc-firewall-policy-[network-id]-region atau dataproc-fw-[network-id]-region di subnet VPC batch atau sesi. Kebijakan ini berisi aturan ingress dan egress berikut.

Nama Tujuan Prioritas Arah Tindakan Sumber dan Tujuan Protokol dan port
dataproc-allow-internal-ingress-rule-[subnetworkId] Mengizinkan semua komunikasi internal yang diperlukan hanya dari VM Managed Service for Apache Spark yang diberi tag lainnya dalam subnet yang sama. 4 INGRESS IZINKAN
  • srcSecureTag: nilai tag aman untuk subnet ini.
  • targetSecureTags:nilai tag aman untuk subnet ini.
    		•  tcp:0-65535, udp:0-65535, icmp protocols:ports
    dataproc-allow-internal-egress-rule-[subnetworkId] Mengizinkan VM Managed Service for Apache Spark mendownload paket, misalnya pip dan apt-get, serta mengakses Google API menggunakan Akses Google Pribadi. 5 KELUAR IZINKAN
  • destIpRanges: 0.0.0.0/0.
  • targetSecureTags:nilai tag aman untuk subnet ini.
    		•  tcp:0-65535, udp:0-65535, icmp protocols:ports

    Catatan:

    • Managed Service for Apache Spark menyediakan project tenant yang terkait dengan project pengguna untuk menyimpan tag yang aman. Managed Service for Apache Spark membuat tag aman untuk subnet di project tenant dan melampirkannya ke VM Managed Service for Apache Spark, yang memastikan bahwa kebijakan firewall sistem yang dibuat hanya berlaku untuk VM Managed Service for Apache Spark.

    • Kebijakan firewall sistem yang dibuat secara otomatis tidak didukung untuk VPC Bersama.

    Managed Service for Apache Spark dan jaringan VPC-SC

    Dengan Kontrol Layanan VPC, administrator jaringan dapat menentukan perimeter keamanan di sekitar resource layanan terkelola Google untuk mengontrol komunikasi ke dan di antara layanan tersebut.

    Pertimbangkan strategi berikut saat Anda menggunakan jaringan VPC-SC dengan Managed Service for Apache Spark:

    Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC— Managed Service for Apache Spark.