"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Configurazione di rete di Managed Service per Apache Spark

Questo documento descrive i requisiti per la configurazione di rete di Managed Service for Apache Spark.

Requisiti della subnet Virtual Private Cloud

Questo documento descrive i requisiti di rete Virtual Private Cloud per i workload batch e le sessioni interattive di Managed Service for Apache Spark.

Accesso privato Google

I workload batch e le sessioni interattive di Managed Service for Apache Spark vengono eseguiti su VM con solo indirizzi IP interni e su una subnet regionale con l' accesso privato Google (PGA) abilitato automaticamente sulla subnet.

Se non specifichi una subnet, Managed Service for Apache Spark seleziona la subnet default nella regione del workload batch o della sessione come subnet per un workload batch o una sessione.

Se il tuo workload richiede l'accesso a una rete esterna o a internet, ad esempio per scaricare risorse come modelli ML da PyTorch Hub o Hugging Face, puoi configurare Cloud NAT per consentire il traffico in uscita utilizzando gli IP interni sulla tua rete VPC.

Apri la connettività della subnet

La subnet VPC per la regione selezionata per il workload batch o la sessione interattiva di Managed Service for Apache Spark deve consentire la comunicazione interna su tutte le porte tra le istanze VM all'interno della subnet.

Per impedire che script dannosi in un workload influiscano su altri workload, Managed Service for Apache Spark implementa misure di sicurezza predefinite.

Il seguente comando Google Cloud CLI collega un firewall di rete a una subnet che consente le comunicazioni in entrata interne tra le VM utilizzando tutti i protocolli su tutte le porte:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Note:

SUBNET_RANGES: Consulta Consentire le connessioni in entrata interne tra le VM. La rete VPC default in un progetto con la regola firewall default-allow-internal, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535 e icmp protocols:ports), soddisfa il requisito di connettività della subnet aperta. Tuttavia, questa regola consente anche l'ingresso di qualsiasi istanza VM sulla rete.

Utilizza i tag di rete per limitare la connettività. In produzione, la prassi consigliata è limitare le regole firewall agli indirizzi IP utilizzati dai carichi di lavoro Spark.

Policy del firewall di sistema regionale creata automaticamente

Per soddisfare il requisito di connettività della subnet aperta, i workload batch e le sessioni interattive di Managed Service for Apache Spark che utilizzano la versione runtime 3.0 o successive creano automaticamente una policy del firewall di sistema regionale dataproc-firewall-policy-[network-id]-region o dataproc-fw-[network-id]-region nella subnet VPC batch o sessione. Queste norme contengono le seguenti regole in entrata e in uscita.

Nome	Finalità	Priorità	Direzione	Azione	Origine e destinazione	Protocollo e porte
`dataproc-allow-internal-ingress-rule-[subnetworkId]`	Consente tutta la comunicazione interna necessaria solo da altre VM Managed Service for Apache Spark con tag all'interno della stessa subnet.	4	INGRESS	CONSENTI	`srcSecureTag`: il valore del tag sicuro per questa subnet. `targetSecureTags`:il valore del tag sicuro per questa subnet.	tcp:0-65535, udp:0-65535, icmp protocols:ports
`dataproc-allow-internal-egress-rule-[subnetworkId]`	Consente alle VM Managed Service for Apache Spark di scaricare pacchetti, ad esempio pip e apt-get, e di accedere alle API di Google utilizzando l'accesso privato Google.	5	EGRESS	CONSENTI	`destIpRanges`: 0.0.0.0/0. `targetSecureTags`:il valore del tag sicuro per questa subnet.	tcp:0-65535, udp:0-65535, icmp protocols:ports

Note:

Managed Service for Apache Spark esegue il provisioning di un progetto tenant associato al progetto utente per archiviare i tag sicuri. Managed Service for Apache Spark crea un tag sicuro per la subnet nel progetto tenant e lo associa alle VM Managed Service for Apache Spark, il che garantisce che il criterio firewall di sistema creato si applichi solo alle VM Managed Service for Apache Spark.
La policy firewall di sistema creata automaticamente non è supportata per il VPC condiviso.

Managed Service for Apache Spark e reti VPC-SC

Con Controlli di servizio VPC, gli amministratori di rete possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.

Prendi in considerazione le seguenti strategie quando utilizzi le reti VPC-SC con Managed Service for Apache Spark:

Configura la connettività privata.
Crea un'immagine container personalizzata che preinstalli le dipendenze al di fuori del perimetro di VPC-SC, quindi invia un carico di lavoro batch Spark che utilizza l'immagine container personalizzata.

Per saperne di più, consulta Controlli di servizio VPC - Managed Service for Apache Spark.