Panoramica della rete di Dataproc Metastore

Questo documento fornisce una panoramica delle impostazioni di rete che puoi utilizzare per configurare un servizio Dataproc Metastore.

Riferimento rapido per gli argomenti di rete

Impostazioni di Networking Note
Impostazioni della rete predefinite
Subnet VPC Per impostazione predefinita, i servizi Dataproc Metastore che utilizzano il protocollo dell'endpoint Thrift utilizzano una subnet VPC con Private Service Connect.
Reti Virtual Private Cloud (VPC) Puoi anche scegliere di utilizzare le reti VPC per i servizi Dataproc Metastore che utilizzano il protocollo dell'endpoint Thrift. Questa è un'alternativa all'utilizzo delle subnet VPC con Private Service Connect.

Dopo la creazione della rete VPC, Dataproc Metastore configura automaticamente anche il peering di rete VPC per il tuo servizio.
Impostazioni della rete aggiuntive
Reti VPC condivise Puoi anche scegliere di creare servizi Dataproc Metastore in una rete VPC condiviso.
Networking on-premise Puoi connetterti a un servizio Dataproc Metastore con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.
Controlli di servizio VPC Puoi anche scegliere di creare servizi Dataproc Metastore con Controlli di servizio VPC.
Regole firewall Negli ambienti non predefiniti o privati con un assetto di sicurezza consolidato potrebbe essere necessario creare regole firewall personalizzate.

Impostazioni di rete predefinite

La sezione seguente descrive le impostazioni di rete predefinite utilizzate da Dataproc Metastore per il protocollo dell'endpoint Thrift: subnet VPC con Private Service Connect.

Subnet VPC

Per i servizi Dataproc Metastore che utilizzano il protocollo dell'endpoint Thrift, Private Service Connect (PSC) è l'opzione di rete predefinita. PSC consente di configurare una connessione privata ai metadati di Dataproc Metastore nelle reti VPC. Con PSC, puoi creare un servizio senza peering VPC. In questo modo, puoi utilizzare i tuoi indirizzi IP interni per accedere a Dataproc Metastore, senza uscire dalle reti VPC o utilizzare indirizzi IP esterni.

Per configurare Private Service Connect durante la creazione di un servizio, consulta Private Service Connect con Dataproc Metastore.

Reti VPC

Puoi anche scegliere di utilizzare le reti VPC per i servizi Dataproc Metastore che utilizzano il protocollo dell'endpoint Thrift. Questa è un'alternativa all'utilizzo delle subnet VPC con Private Service Connect. Una rete VPC è una versione virtuale di una rete fisica implementata all'interno della rete di produzione di Google. Quando crei un Dataproc Metastore, il servizio crea automaticamente la rete VPC.

Se non modifichi alcuna impostazione durante la creazione del servizio, Dataproc Metastore utilizza la rete VPC default. Con questa impostazione, la rete VPC che utilizzi con il servizio Dataproc Metastore può appartenere allo stesso Google Cloud progetto o a un progetto diverso. Questa impostazione ti consente anche di esporre il servizio in una singola rete VPC o di renderlo accessibile da più reti VPC (tramite l'utilizzo di subnet).

Dataproc Metastore richiede quanto segue per regione per ogni rete VPC:

Peering di rete VPC

Dopo la creazione della rete VPC, Dataproc Metastore configura automaticamente anche il peering di rete VPC per il tuo servizio. Il VPC fornisce al tuo servizio l'accesso ai protocolli dell'endpoint Dataproc Metastore . Dopo aver creato il servizio, puoi visualizzare il peering di rete VPC sottostante nella pagina Peering di rete VPC della Google Cloud console.

Il peering di rete VPC non è transitivo. Ciò significa che solo le reti in peering diretto possono comunicare tra loro. Ad esempio, considera lo scenario seguente:

Hai le seguenti reti: rete VPC N1, N2 e N3.

  • La rete VPC N1 è associata a N2 e N3.
  • Le reti VPC N2 e N3 non sono connesse direttamente.

Che cosa significa?

Significa che tramite il peering di rete VPC, la rete VPC N2 non può comunicare con la rete VPC N3. Ciò influisce sulle connessioni Dataproc Metastore nei seguenti modi:

  • Le macchine virtuali che si trovano nelle reti in peering con la rete del progetto Dataproc Metastore non possono raggiungere Dataproc Metastore.
  • Solo gli host sulla rete VPC possono raggiungere un servizio Dataproc Metastore.

Considerazioni sulla sicurezza del peering di rete VPC

  • Il traffico tramite il peering di rete VPC viene fornito con un determinato livello di crittografia. Per saperne di più, consulta Google Cloud rete virtuale crittografia e autenticazione.

  • La creazione di una rete VPC per ogni servizio con un indirizzo IP interno offre un isolamento di rete migliore rispetto all'inserimento di tutti i servizi nella rete VPC default.

Indirizzi IP

Per connettersi a una rete e proteggere i metadati, i servizi Dataproc Metastore utilizzano solo indirizzi IP interni. Ciò significa che gli indirizzi IP pubblici non sono esposti o sono disponibili per scopi di rete.

Utilizzando un indirizzo IP interno, Dataproc Metastore può connettersi solo alle macchine virtuali (VM) esistenti nelle reti VPC (VPC) specificate o in un ambiente on-premise.

Le connessioni a un servizio Dataproc Metastore che utilizzano un indirizzo IP interno utilizzano intervalli di indirizzi RFC 1918. L'utilizzo di questi intervalli significa che Dataproc Metastore alloca un intervallo /17 e un intervallo /20 dallo spazio di indirizzi per ogni regione. Ad esempio, l'inserimento dei servizi Dataproc Metastore in due regioni richiede che l'intervallo di indirizzi IP allocato contenga quanto segue:

  • Almeno due blocchi di indirizzi non utilizzati di dimensioni /17.
  • Almeno due blocchi di indirizzi non utilizzati di dimensioni /20.

Se non vengono trovati blocchi di indirizzi RFC 1918, Dataproc Metastore trova invece blocchi di indirizzi non RFC 1918 adatti. Tieni presente che l'allocazione dei blocchi non RFC 1918 non tiene conto del fatto che questi indirizzi siano in uso o meno nella rete VPC o on-premise.

Impostazioni di rete aggiuntive

Se hai bisogno di un'impostazione di rete diversa, puoi utilizzare le seguenti opzioni con il servizio Dataproc Metastore.

Rete VPC condiviso

Puoi creare servizi Dataproc Metastore in una VPC condiviso condivisa. Un VPC condiviso consente di connettere le risorse Dataproc Metastore di più progetti a una rete VPC (VPC) comune.

Per configurare un VPC condiviso durante la creazione di un servizio, consulta Creare un servizio Dataproc Metastore.

Networking on-premise

Puoi connetterti a un servizio Dataproc Metastore con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect

Controlli di servizio VPC

I Controlli di servizio VPC migliorano la tua capacità di ridurre il rischio di esfiltrazione di dati. Con i Controlli di servizio VPC, crei perimetri intorno al servizio Dataproc Metastore. I Controlli di servizio VPC limitano l'accesso alle risorse all'interno del perimetro dall'esterno. Solo i client e le risorse all'interno del perimetro possono interagire tra loro.

Per utilizzare i Controlli di servizio VPC con Dataproc Metastore, consulta Controlli di servizio VPC con Dataproc Metastore. Consulta anche Limitazioni di Dataproc Metastore quando utilizzi i Controlli di servizio VPC.

Regole firewall per Dataproc Metastore

Negli ambienti non predefiniti o privati con un assetto di sicurezza consolidato potrebbe essere necessario creare regole firewall personalizzate. In questo caso, non creare una regola firewall che blocchi l'intervallo di indirizzi IP o la porta dei servizi Dataproc Metastore.

Quando crei un servizio Dataproc Metastore, puoi accettare la rete predefinita per il servizio. La rete predefinita garantisce l'accesso completo alla rete IP interna per le VM.

Per informazioni più generali sulle regole firewall, consulta Regole firewall VPC e Utilizzo delle regole firewall VPC.

Creare una regola firewall per una rete personalizzata

Quando utilizzi una rete personalizzata, assicurati che la regola firewall consenta il traffico in entrata e in uscita dall'endpoint Dataproc Metastore. Per consentire esplicitamente il traffico Dataproc Metastore, esegui i seguenti comandi gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Per DPMS_NET_PREFIX, applica una subnet mask /17 all'IP del servizio Dataproc Metastore. Puoi trovare le informazioni sull'indirizzo IP di Dataproc Metastore nella configurazione endpointUri nella pagina Dettagli servizio.

Considerazioni

Le reti hanno una regola allow in uscita implicita che in genere consente l'accesso da rete a Dataproc Metastore. Se crei regole deny in uscita che sostituiscono la regola allow in uscita implicita, devi creare una regola allow in uscita con una priorità più alta per consentire il traffico in uscita verso l'IP Dataproc Metastore.

Alcune funzionalità, come Kerberos, richiedono che Dataproc Metastore avvii le connessioni agli host nella rete del progetto. Tutte le reti hanno una regola deny in entrata implicita che blocca queste connessioni e impedisce il funzionamento di queste funzionalità. regola deny in entrata implicita che blocca queste connessioni e impedisce il funzionamento di queste funzionalità. Devi creare una regola firewall che consenta il traffico in entrata TCP e UDP su tutte le porte dal blocco IP /17 che contiene l'IP Dataproc Metastore.

Routing personalizzato

Le route personalizzate sono per le subnet che utilizzano indirizzi IP pubblici utilizzati privatamente (PUPI). Le route personalizzate consentono alla rete VPC di connettersi a una rete peer. Le route personalizzate possono essere ricevute solo quando la rete VPC le importa e la rete peer le esporta esplicitamente. Le route personalizzate possono essere statiche o dinamiche.

La condivisione delle route personalizzate con le reti VPC in peering consente alle reti di "apprendere" le route direttamente dalle reti in peering. Ciò significa che quando una route personalizzata in una rete in peering viene aggiornata, la rete VPC apprende e implementa automaticamente la route personalizzata senza richiedere ulteriori azioni da parte tua.

Per saperne di più sul routing personalizzato, consulta la configurazione di rete.

Esempio di networking Dataproc Metastore

Nell'esempio seguente, Google alloca gli intervalli di indirizzi 10.100.0.0/17 e 10.200.0.0/20 nella rete VPC del cliente per i servizi Google e utilizza gli intervalli di indirizzi in una rete VPC in peering.

Diagramma che mostra la configurazione della rete VPC di Dataproc Metastore con i servizi Google e la rete VPC del cliente, che illustra l'allocazione e il peering degli indirizzi IP.
Figura 1. Configurazione della rete VPC Dataproc Metastore

Descrizione dell'esempio di networking:

  • Sul lato dei servizi Google del peering VPC, Google crea un progetto per il cliente. Il progetto è isolato, il che significa che nessun altro cliente lo condivide e al cliente vengono addebitate solo le risorse di cui esegue il provisioning.
  • Quando crei il primo servizio Dataproc Metastore in una regione, Dataproc Metastore alloca un intervallo /17 e un intervallo /20 nella rete del cliente per tutti i futuri utilizzi dei servizi Dataproc Metastore in quella regione e rete. Dataproc Metastore suddivide ulteriormente questi intervalli per creare subnet e intervalli di indirizzi nel progetto di producer di servizi.
  • I servizi VM nella rete del cliente possono accedere alle risorse del servizio Dataproc Metastore in qualsiasi regione, se il Google Cloud servizio lo supporta. Alcuni Google Cloud servizi potrebbero non supportare la comunicazione tra regioni.
  • Vengono comunque applicati i costi per il traffico in uscita per il traffico tra regioni, in cui un'istanza VM comunica con le risorse in una regione diversa.
  • Google assegna al servizio Dataproc Metastore l'indirizzo IP 10.100.0.100. Nella rete VPC del cliente, le richieste con destinazione 10.100.0.100 vengono instradate tramite il peering VPC alla rete del producer di servizi. Dopo aver raggiunto la rete di servizi, quest'ultima contiene route che indirizzano la richiesta alla risorsa corretta.
  • Il traffico tra le reti VPC avviene internamente alla rete di Google, non tramite la rete internet pubblica.

Passaggi successivi