Configurazione di rete di Serverless per Apache Spark

Questo documento descrive i requisiti necessari per la configurazione di rete di Google Cloud Serverless per Apache Spark.

Requisiti della subnet Virtual Private Cloud

Questo documento spiega i requisiti di rete Virtual Private Cloud per Google Cloud i workload batch e le sessioni interattive di Serverless per Apache Spark.

Accesso privato Google

I workload batch e le sessioni interattive di Serverless per Apache Spark vengono eseguiti su VM con indirizzi IP interni e su una subnet a livello di regione con l'accesso privato Google (PGA) abilitato automaticamente sulla subnet.

Se non specifichi una subnet, Serverless per Apache Spark seleziona la default subnet nella regione del workload batch o della sessione come subnet per un workload batch o una sessione.

Se il tuo workload richiede l'accesso alla rete esterna o a internet access, ad esempio per scaricare risorse come modelli di machine learning da PyTorch Hub o Hugging Face, puoi configurare Cloud NAT per consentire il traffico in uscita utilizzando gli IP interni sulla rete VPC.

Connettività della subnet aperta

La subnet VPC per la regione selezionata per il workload batch o la sessione interattiva di Serverless per Apache Spark deve consentire la comunicazione interna della subnet su tutte le porte tra le istanze VM.

Il seguente comando Google Cloud CLI collega un firewall di rete a una subnet che consente le comunicazioni in entrata interne tra le VM utilizzando tutti i protocolli su tutte le porte:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Note:

SUBNET_RANGES: Vedi Consentire le connessioni in entrata interne tra le VM. La rete VPC default in un progetto con la default-allow-internal regola firewall, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535, e icmp protocols:ports), soddisfa il requisito di connettività della subnet aperta. Tuttavia, questa regola consente anche l'ingresso di qualsiasi istanza VM sulla rete.

Utilizza i tag di rete per limitare la connettività. In produzione, la prassi consigliata è limitare le regole firewall agli indirizzi IP utilizzati dai workload Spark.

Serverless per Apache Spark e reti VPC-SC

Con Controlli di servizio VPC, gli amministratori di rete possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.

Tieni presente le seguenti strategie quando utilizzi le reti VPC-SC con Serverless per Apache Spark:

Configura la connettività privata.
Crea un'immagine container personalizzata che preinstalli le dipendenze al di fuori del perimetro VPC-SC, quindi invia un workload batch Spark che utilizza l'immagine container personalizzata.

Per saperne di più, consulta Controlli di servizio VPC - Serverless per Apache Spark.