"Managed Service for Apache Spark" è il nuovo nome del prodotto precedentemente noto come "Dataproc on Compute Engine" (deployment del cluster) e "Google Cloud Serverless for Apache Spark" (deployment serverless).

Configurazione di rete di Managed Service per Apache Spark

Questo documento descrive i requisiti per la configurazione di rete di Managed Service per Apache Spark.

Requisiti della subnet Virtual Private Cloud

Questo documento descrive i requisiti di rete Virtual Private Cloud per i workload batch e le sessioni interattive di Managed Service per Apache Spark.

Accesso privato Google

I workload batch e le sessioni interattive di Managed Service per Apache Spark vengono eseguiti su VM con solo indirizzi IP interni e su una subnet regionale con l'accesso privato Google (PGA) abilitato automaticamente sulla subnet.

Se non specifichi una subnet, Managed Service per Apache Spark seleziona la subnet default nella regione del workload batch o della sessione come subnet per un workload batch o una sessione.

Se il tuo workload richiede l'accesso alla rete esterna o a internet, ad esempio per scaricare risorse come modelli di machine learning da PyTorch Hub o Hugging Face, puoi configurare Cloud NAT per consentire il traffico in uscita utilizzando gli indirizzi IP interni sulla rete VPC.

Connettività della subnet aperta

La subnet VPC per la regione selezionata per il workload batch o la sessione interattiva di Managed Service per Apache Spark deve consentire la comunicazione interna su tutte le porte tra le istanze VM all'interno della subnet.

Per impedire che script dannosi in un workload influiscano su altri workload, Managed Service per Apache Spark implementa misure di sicurezza predefinite.

Il seguente comando Google Cloud CLI collega un firewall di rete a una subnet che consente le comunicazioni in entrata interne tra le VM utilizzando tutti i protocolli su tutte le porte:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Note:

SUBNET_RANGES: vedi Consentire le connessioni in entrata interne tra VM. La rete VPC default in un progetto con la regola firewall default-allow-internal, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535, e icmp protocols:ports), soddisfa il requisito di connettività della subnet aperta. Tuttavia, questa regola consente anche l'ingresso di qualsiasi istanza VM sulla rete.

Utilizza i tag di rete per limitare la connettività. In produzione, la prassi consigliata è limitare le regole firewall agli indirizzi IP utilizzati dai workload Spark.

Policy del firewall di sistema regionale creata automaticamente

Per soddisfare il requisito di connettività della subnet aperta, i workload batch e le sessioni interattive di Managed Service per Apache Spark che utilizzano la versione di runtime 3.0 o successive creano automaticamente una policy del firewall di sistema regionale dataproc-firewall-policy-[network-id]-region o dataproc-fw-[network-id]-region sulla subnet VPC batch o sessione. Questa policy contiene le seguenti regole in entrata e in uscita.

Nome	Finalità	Priorità	Direzione	Azione	Origine e destinazione	Protocollo e porte
`dataproc-allow-internal-ingress-rule-[subnetworkId]`	Consente tutte le comunicazioni interne necessarie solo da altre VM di Managed Service per Apache Spark con tag all'interno della stessa subnet.	4	INGRESSO	CONSENTI	`srcSecureTag`: valore del tag sicuro per questa subnet. `targetSecureTags`:valore del tag sicuro per questa subnet.	tcp:0-65535, udp:0-65535, icmp protocols:ports
`dataproc-allow-internal-egress-rule-[subnetworkId]`	Consente alle VM di Managed Service per Apache Spark di scaricare pacchetti, ad esempio pip e apt-get, e di accedere alle API di Google utilizzando l'accesso privato Google.	5	USCITA	CONSENTI	`destIpRanges`: 0.0.0.0/0. `targetSecureTags`:valore del tag sicuro per questa subnet.	tcp:0-65535, udp:0-65535, icmp protocols:ports

Note:

Managed Service per Apache Spark esegue il provisioning di un progetto tenant associato al progetto utente per archiviare i tag sicuri. Managed Service per Apache Spark crea un tag sicuro per la subnet nel progetto tenant e lo collega alle VM di Managed Service per Apache Spark, il che garantisce che la policy del firewall di sistema creata si applichi solo alle VM di Managed Service per Apache Spark.
La policy del firewall di sistema creata automaticamente non è supportata per il VPC condiviso.

Managed Service per Apache Spark e reti VPC-SC

Con Controlli di servizio VPC, gli amministratori di rete possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.

Quando utilizzi le reti VPC-SC con Managed Service per Apache Spark, prendi in considerazione le seguenti strategie:

Configura la connettività privata.
Crea un'immagine container personalizzata che preinstalli le dipendenze al di fuori del perimetro VPC-SC, quindi invia un workload batch Spark che utilizza l'immagine container personalizzata.

Per saperne di più, consulta Controlli di servizio VPC— Managed Service per Apache Spark.