Netzwerkkonfiguration für Serverless for Apache Spark

In diesem Dokument werden die Anforderungen für die Netzwerkkonfiguration von Google Cloud Serverless for Apache Spark beschrieben.

Anforderungen an Virtual Private Cloud-Subnetzwerke

In diesem Dokument werden die VPC-Netzwerkanforderungen fürGoogle Cloud Serverless for Apache Spark-Batcharbeitslasten und interaktive Sitzungen erläutert.

Privater Google-Zugriff

Serverless for Apache Spark-Batcharbeitslasten und interaktive Sitzungen werden auf VMs mit nur internen IP-Adressen und in einem regionalen Subnetz mit automatisch aktiviertem privaten Google-Zugriff (Private Google Access, PGA) ausgeführt.

Wenn Sie kein Subnetz angeben, wählt Serverless for Apache Spark das Subnetz default in der Region der Batcharbeitslast oder Sitzung als Subnetz für eine Batcharbeitslast oder Sitzung aus.

Wenn für Ihre Arbeitslast ein externes Netzwerk oder Internetzugriff erforderlich ist, z. B. zum Herunterladen von Ressourcen wie ML-Modellen von PyTorch Hub oder Hugging Face, können Sie Cloud NAT einrichten, um ausgehenden Traffic über interne IPs in Ihrem VPC-Netzwerk zuzulassen.

Subnetzverbindung öffnen

Das VPC-Subnetz für die Region, die für die Serverless for Apache Spark-Batcharbeitslast oder interaktive Sitzung ausgewählt wurde, muss die interne Subnetzkommunikation an allen Ports zwischen VM-Instanzen zulassen.

Hinweis :Damit schädliche Skripts in einer Arbeitslast keine Auswirkungen auf andere Arbeitslasten haben, werden in Serverless for Apache Spark Standardsicherheitsmaßnahmen eingesetzt.

Mit dem folgenden Google Cloud CLI-Befehl wird eine Netzwerkfirewall an ein Subnetz angehängt, die interne eingehende Kommunikation zwischen VMs über alle Protokolle auf allen Ports zulässt:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Hinweise:

• SUBNET_RANGES: Weitere Informationen finden Sie unter Interne eingehende Verbindungen zwischen VMs zulassen. Das VPC-Netzwerk default in einem Projekt mit der Firewallregel default-allow-internal, die eingehende Kommunikation auf allen Ports (tcp:0-65535, udp:0-65535 und icmp protocols:ports) zulässt, erfüllt die Anforderung für die Konnektivität offener Subnetze. Diese Regel ermöglicht jedoch auch den eingehenden Zugriff durch jede VM-Instanz im Netzwerk.

  Netzwerktags verwenden, um die Konnektivität einzuschränken: In der Produktion empfiehlt es sich, Firewallregeln auf die IP-Adressen zu beschränken, die von Ihren Spark-Arbeitslasten verwendet werden.

Serverless for Apache Spark und VPC-SC-Netzwerke

Mit VPC Service Controls können Netzwerkadministratoren einen Sicherheitsbereich für Ressourcen aus von Google verwalteten Diensten festlegen, um die Kommunikation mit und zwischen diesen Diensten zu steuern.

Beachten Sie die folgenden Strategien bei Verwendung von VPC-SC-Netzwerken mit Serverless for Apache Spark:

• Private Verbindung einrichten

• Erstellen Sie ein benutzerdefiniertes Container-Image, in dem Abhängigkeiten außerhalb des VPC-SC-Bereichs vorinstalliert sind, und senden Sie dann eine Spark-Batcharbeitslast, die Ihr benutzerdefiniertes Container-Image verwendet.

Weitere Informationen finden Sie unter VPC Service Controls – Serverless for Apache Spark.