Private Service Connect con Managed Service for Apache Spark ti consente di connettere i workload del cluster alle API di Google e ai servizi gestiti utilizzando indirizzi IP privati all'interno della tua rete Virtual Private Cloud (VPC). Questo approccio mantiene il traffico di dati al di fuori della rete internet pubblica, proteggendo al contempo la comunicazione con gli endpoint supportati.
Se i tuoi workload richiedono l'accesso a origini dati in altre reti VPC o ambienti on-premise, puoi combinare Private Service Connect con il peering VPC, Cloud VPN o Cloud Interconnect. Comprendere le differenze tra Private Service Connect, l'accesso privato Google e Cloud NAT ti aiuta a scegliere la configurazione di rete corretta per i tuoi cluster Spark.
Questa pagina fornisce indicazioni sulla configurazione della connettività di rete per i cluster Managed Service for Apache Spark quando utilizzi Private Service Connect. Spiega l'interazione tra Private Service Connect e il peering di Virtual Private Cloud per diversi casi d'uso di Managed Service for Apache Spark. Inoltre, riassume le somiglianze e le differenze delle funzionalità tra l'accesso privato Google, Private Service Connect e Cloud NAT.
Panoramica
I cluster di Managed Service for Apache Spark richiedono la connettività di rete alle API e ai serviziGoogle Cloud , come l'API Dataproc, Cloud Storage e Cloud Logging, nonché alle risorse utente, come le origini dati in altre reti VPC o ambienti on-premise.
Per impostazione predefinita, i cluster Managed Service for Apache Spark creati con le versioni immagine 2.2 e successive vengono creati solo con indirizzi IP interni. Managed Service for Apache Spark attiva automaticamente l'accesso privato Google sulla subnet regionale utilizzata dal cluster con solo IP interno per abilitare le connessioni alle API di Google e ai servizi Google senza connettersi alla rete internet pubblica.
Per un controllo più granulare della rete, puoi configurare un cluster in modo che utilizzi Private Service Connect, che instrada il traffico alle API di Google e ai servizi supportati tramite un endpoint privato all'interno della tua rete VPC. Questo può essere utile per la sicurezza e la conformità.
Opzioni di networking privato comuni
Questa sezione descrive le funzionalità e le differenze di accesso privato Google, Private Service Connect e Cloud NAT.
L'accesso privato Google è un percorso unidirezionale che consente alle VM di raggiungere i servizi pubblici di Google senza utilizzare internet. È simile a un'uscita stradale speciale dal tuo quartiere (subnet VPC) che conduce direttamente al centro commerciale dei servizi Google, bypassando le strade pubbliche. Tutti nel quartiere possono usarlo. Managed Service for Apache Spark attiva automaticamente l'accesso privato Google sulla subnet regionale utilizzata dai cluster Managed Service for Apache Spark creati con la versione immagine
2.2e successive.Private Service Connect crea un endpoint privato bidirezionale per un servizio che si trova all'interno della tua rete VPC. È simile a un percorso privato dedicato dalla tua località (rete VPC) direttamente a un servizio. Ha un indirizzo nella tua località (un indirizzo IP interno nella tua rete VPC) e solo tu puoi utilizzarlo.
Cloud NAT consente alle VM con indirizzi IP privati di accedere a internet.
Funzionalità e differenze
| Funzionalità | Accesso privato Google (PGA) | Private Service Connect (PSC) |
|---|---|---|
| Come funziona | Indirizza il traffico da una VM a un intervallo di indirizzi IP Google speciale (private.googleapis.com). |
Crea una regola di forwarding (endpoint) all'interno della tua rete VPC che rappresenta il servizio Google. |
| Indirizzo IP | La tua VM si connette a un indirizzo IP di proprietà di Google. | La VM si connette a un indirizzo IP interno di tua proprietà all'interno della rete VPC. |
| Direzione | Solo in uscita: la VM avvia una connessione a Google. | Bidirezionale: la VM si connette al servizio e il servizio può avviare il traffico di ritorno. |
| Ambito | Attivata o disattivata per un'intera subnet. | È stato eseguito il deployment come risorsa endpoint specifica. |
| Servizi | Si connette solo alle API di Google, come Cloud Storage, BigQuery o l'API Dataproc. | Si connette alle API di Google, ai servizi di altre aziende e ai tuoi servizi. |
Per Managed Service for Apache Spark, l'accesso privato Google è il metodo più semplice e utilizzato per consentire alle VM del cluster di contattare il control plane di Managed Service for Apache Spark. Private Service Connect è un approccio più recente e flessibile che offre un controllo granulare, in particolare in reti complesse o multi-tenant.
Perché utilizzare Private Service Connect? Anche se il tuo cluster Managed Service for Apache Spark ha indirizzi IP solo interni con l'accesso privato Google abilitato (la configurazione predefinita per i cluster con versione immagine 2.2+), Private Service Connect offre i seguenti vantaggi:
Anziché utilizzare il set condiviso di endpoint dell'accesso privato Google per connetterti alle API di Google e ai servizi Google, Private Service Connect ti consente di creare un endpoint privato con un indirizzo IP interno nella tua rete VPC che mappa direttamente a un servizio Google specifico.
Puoi creare regole firewall che consentono il traffico solo verso l'indirizzo IP dell'endpoint Private Service Connect. Ad esempio, puoi configurare una regola che consenta il traffico in uscita dalle VM del cluster Managed Service for Apache Spark esclusivamente all'indirizzo IP interno dell'endpoint Private Service Connect per BigQuery, negando al contempo tutto l'altro traffico in uscita. Questo approccio è più sicuro rispetto alla creazione di regole firewall più ampie con l'accesso privato Google.
L'utilizzo dell'endpoint di Private Service Connect all'interno della tua rete VPC rende il percorso di rete esplicito e più facile da controllare per la sicurezza e la conformità, poiché il traffico verso un servizio come Cloud Storage non condivide un percorso con altro traffico API.
Percorsi privati e pubblici
L'accesso privato Google, Private Service Connect e Cloud NAT consentono agli host con indirizzi RFC 1918 di raggiungere i serviziGoogle Cloud . Inoltre, consentono alle risorse Google Cloud con indirizziRFC 1918privati di avviare connessioni ai servizi Google Cloud .
Una distinzione importante da fare quando si valutano le diverse opzioni di connessione è se il traffico che utilizza la connessione rimane privato o viaggia sulla rete internet pubblica.
L'accesso privato Google e Private Service Connect mantengono il traffico all'interno della rete privata di Google. I dati non attraversano la rete internet pubblica per raggiungere i servizi Google Cloud , il che è ideale per la sicurezza e le prestazioni prevedibili.
Cloud NAT raggiunge un servizio Google Cloud connettendosi a un endpoint pubblico per il servizio. Il traffico lascia la rete VPC tramite il gateway NAT e viaggia su internet.
Come funziona ogni opzione
Ecco una suddivisione di ciascun meccanismo di connessione:
| Metodo | Percorso per il servizio | Endpoint di destinazione | Caso d'uso primario |
|---|---|---|---|
| Accesso privato Google | Rete privata di Google | Indirizzi IP Google speciali (private.googleapis.com) |
Accesso semplice a livello di subnet per consentire alle VM di raggiungere le API di Google in modo privato. |
| Private Service Connect | Rete privata di Google | Un endpoint con indirizzo IP privato all'interno della tua rete VPC | Accesso granulare e sicuro alle API di Google, a servizi di terze parti o ai tuoi servizi. |
| Cloud NAT | Rete internet pubblica | Indirizzo IP pubblico del servizio | Accesso a internet in uscita per uso generico per le VM con indirizzi IP privati. |
Configurazione di Private Service Connect
Per utilizzare Private Service Connect con il tuo cluster Managed Service for Apache Spark, devi configurare gli endpoint Private Service Connect e il DNS necessari nella tua rete VPC per tutte le API di Google da cui dipende Managed Service for Apache Spark. Per istruzioni sulla configurazione della subnet e del DNS, consulta Informazioni sull'accesso alle API di Google tramite endpoint.
Abilita il peering se necessario
Sebbene Private Service Connect fornisca l'accesso privato a molti servizi Google, potrebbe essere necessario attivare anche il peering VPC, in particolare nei seguenti scenari:
Altre reti VPC: Private Service Connect si connette ai servizi gestiti da Google, non direttamente alle reti VPC di altri clienti. Se le origini dati, le applicazioni personalizzate o altri servizi si trovano in una rete VPC diversa da quella del cluster Managed Service for Apache Spark, in genere è necessario il peering VPC per consentire la comunicazione privata tra queste reti.
Reti on-premise: se il tuo cluster Managed Service for Apache Spark accede a dati o servizi nel tuo ambiente on-premise, avrai bisogno di una connessione Cloud VPN o Cloud Interconnect alla tua rete on-premise, spesso combinata con il peering VPC.
Comunicazione interna completa con i servizi Google: sebbene Private Service Connect fornisca l'accesso privato ai servizi Google configurati, come Cloud Storage e BigQuery, le comunicazioni interne del control plane o le funzionalità specifiche di Managed Service for Apache Spark potrebbero richiedere il peering VPC con una rete con un'ampia accessibilità ai servizi Google per accedere all'infrastruttura Google sottostante o ad altre API di Google.
Accesso alle origini dati in altre reti VPC: se i tuoi job Managed Service for Apache Spark leggono o scrivono in origini dati, come Cloud SQL, database autogestiti e applicazioni personalizzate, che si trovano in una rete VPC diversa, devi stabilire il peering VPC tra la rete VPC del cluster Managed Service for Apache Spark e la rete VPC contenente queste origini dati. Private Service Connect non fornisce la comunicazione tra reti VPC tra reti di proprietà del cliente.
Connettività ibrida: per i deployment di cloud ibrido in cui i cluster Managed Service for Apache Spark devono interagire con le risorse in un data center on-premise, il peering VPC è essenziale per connettere la tua rete on-premise alla tua rete VPC Google Cloud utilizzando Cloud VPN o Cloud Interconnect.
Risolvi i problemi di Private Service Connect
Se la creazione del cluster Managed Service for Apache Spark con Private Service Connect (senza peering VPC) non va a buon fine o se si verificano problemi di connettività, segui questi passaggi per risolvere il problema:
Conferma l'accesso API richiesto:
- Verifica che tutte le API di Google necessarie siano abilitate nel tuo progetto Google Cloud .
Verifica la configurazione dell'endpoint Private Service Connect:
Verifica che un endpoint Private Service Connect sia configurato correttamente per tutte le API di Google richieste dal cluster, ad esempio
dataproc.googleapis.com,storage.googleapis.com,logging.googleapis.com,bigquery.googleapis.com,compute.googleapis.com.Utilizza strumenti come
digonslookupda una VM all'interno della subnet VPC per verificare che i record DNS per i servizi richiesti vengano risolti correttamente negli indirizzi IP privati all'interno della tua rete VPC utilizzando l'endpoint Private Service Connect.
Controlla le regole firewall:
Verifica che le regole firewall nella tua rete VPC consentano le connessioni in uscita dalle istanze del cluster Managed Service for Apache Spark agli endpoint Private Service Connect.
Se utilizzi un VPC condiviso, verifica che nel progetto host siano configurate regole firewall appropriate.
Esamina i log del cluster Managed Service for Apache Spark:
- Esamina i log di creazione del cluster in Logging per individuare eventuali errori relativi alla rete, come
connection refused,timeouto "unreachable host. Questi errori possono indicare una route mancante o una regola firewall errata. Esamina i log della console seriale delle istanze del cluster.
- Esamina i log di creazione del cluster in Logging per individuare eventuali errori relativi alla rete, come
Valuta la necessità del peering VPC:
In base alle dipendenze del workload, se il tuo cluster Managed Service for Apache Spark richiede la connettività a risorse non gestite da Google, come database in una rete VPC separata e server on-premise, stabilisci il peering VPC.
Esamina i requisiti di rete dei serviziGoogle Cloud con cui interagisce il cluster Managed Service for Apache Spark. Alcuni servizi potrebbero avere requisiti di peering specifici anche se utilizzati con Private Service Connect.
Segui le best practice
Pianificazione completa dell'architettura di rete: prima di eseguire il deployment di Managed Service for Apache Spark con Private Service Connect, progetta attentamente l'architettura di rete, considerando tutte le dipendenze implicite ed esplicite e i percorsi del flusso di dati. Ciò include l'identificazione di tutte le API di Google con cui il cluster Managed Service for Apache Spark interagisce durante il provisioning e il funzionamento.
Testa la connettività: testa accuratamente la connessione di rete dal tuo cluster Managed Service for Apache Spark a tutti i servizi e le origini dati richiesti durante le fasi di sviluppo e gestione temporanea.
Utilizza Network Intelligence Center: utilizza gli strumenti di Google Cloud Network Intelligence Center, come Connectivity Tests, per diagnosticare e risolvere i problemi di connettività di rete.
Passaggi successivi
- Scopri di più su Private Service Connect.
- Comprendi il peering di rete VPC.
- Esplora la configurazione di rete del cluster Managed Service for Apache Spark.