Questa pagina descrive come configurare Private Service Connect in Cloud Data Fusion.
Informazioni su Private Service Connect in Cloud Data Fusion
Le istanze di Cloud Data Fusion potrebbero dover connettersi a risorse on-premise, su Google CloudGoogle Cloud o su altri provider di servizi cloud. Quando utilizzi Cloud Data Fusion con indirizzi IP interni, le connessioni alle risorse esterne vengono stabilite tramite una rete Virtual Private Cloud (VPC) nel tuo Google Cloud progetto. Il traffico sulla rete non passa attraverso la rete internet pubblica. Quando a Cloud Data Fusion viene fornito l'accesso alla tua rete VPC tramite il peering VPC, esistono limitazioni che diventano evidenti quando utilizzi reti su larga scala.
Con le interfacce Private Service Connect, Cloud Data Fusion si connette al tuo VPC senza utilizzare il peering VPC. L'interfaccia Private Service Connect è un tipo di Private Service Connect che consente a Cloud Data Fusion di avviare connessioni private e sicure alle reti VPC consumer. Questo non solo offre la flessibilità e la facilità di accesso (come il peering VPC), ma fornisce anche l'autorizzazione esplicita e il controllo lato consumer offerti da Private Service Connect.
Il seguente diagramma mostra come viene eseguito il deployment dell'interfaccia Private Service Connect in Cloud Data Fusion:
Figura 1. Deployment dell'interfaccia Private Service Connect
Descrizione della Figura 1:
Le macchine virtuali (VM) che eseguono Cloud Data Fusion sono ospitate in un progetto tenant di proprietà di Google. Per accedere alle risorse nel VPC del cliente, le VM di Cloud Data Fusion utilizzano l'indirizzo IP assegnato dall'interfaccia di rete Private Service Connect dalla subnet del cliente. Questa subnet viene aggiunta al collegamento di rete utilizzato da Cloud Data Fusion.
I pacchetti IP provenienti dall'interfaccia Private Service Connect vengono trattati in modo simile a quelli di una VM nella stessa subnet. Questa configurazione consente a Cloud Data Fusion di accedere direttamente alle risorse nel VPC del cliente o in un VPC con peering senza la necessità di un proxy.
Le risorse internet diventano accessibili quando Cloud NAT è abilitato nel VPC del cliente, mentre le risorse on-premise sono raggiungibili tramite un'interconnessione.
Per gestire il traffico in entrata o in uscita da Private Service Connect, puoi implementare regole firewall.
Vantaggi principali
Di seguito sono riportati i vantaggi principali dell'utilizzo di Cloud Data Fusion con Private Service Connect:
Controllo migliore dello spazio IP. Controlli gli indirizzi IP utilizzati da Cloud Data Fusion per connettersi alla tua rete. Scegli le subnet da cui gli indirizzi IP vengono allocati a Cloud Data Fusion. Tutto il traffico da Cloud Data Fusion ha un indirizzo IP di origine dalla subnet configurata.
Private Service Connect elimina la necessità di indirizzi IP riservati da un VPC del cliente. Il peering VPC richiede un blocco CIDR /22 (1024 indirizzi IP) per istanza di Cloud Data Fusion.
Maggiore sicurezza e isolamento. Configurando un collegamento di rete, controlli quali servizi possono accedere alla tua rete.
Configurazione semplificata dell'istanza Cloud Data Fusion. Crea un collegamento di rete per VPC del cliente una sola volta. Non è necessario utilizzare VM proxy per connetterti alle risorse su internet, ai VPC con peering o on-premise.
Concetti fondamentali
Questa sezione spiega i concetti relativi a Private Service Connect in Cloud Data Fusion.
Collegamento di rete
Il collegamento di rete è una risorsa di regione utilizzata per autorizzare Cloud Data Fusion a utilizzare e stabilire connessioni di rete in modo privato per accedere alle risorse nel VPC. Per ulteriori informazioni, consulta Informazioni sui collegamenti di rete.
VPC condiviso
Di seguito è riportato un caso d'uso per le interfacce Private Service Connect con il VPC condiviso:
Il team di rete o di infrastruttura è proprietario delle subnet in un progetto host. Consentono ai team di applicazioni di utilizzare queste subnet dal loro progetto di servizio.
I team di applicazioni sono proprietari dei collegamenti di rete in un progetto di servizio. Il collegamento di rete definisce quali progetti tenant di Cloud Data Fusion possono connettersi alle subnet collegate al collegamento di rete.
Puoi creare un collegamento di rete in un progetto di servizio. Le subnet utilizzate in un collegamento di rete possono trovarsi solo nel progetto host.
Il seguente diagramma illustra questo caso d'uso:
Figura 2. Caso d'uso per le interfacce Private Service Connect con il VPC condiviso
Descrizione della Figura 2:
Il collegamento di rete è presente nel progetto di servizio. Il collegamento di rete utilizza una subnet appartenente a un VPC condiviso nel progetto host.
L'istanza di Cloud Data Fusion è presente nel progetto di servizio e utilizza il collegamento di rete del progetto di servizio per stabilire la connettività privata.
All'istanza di Cloud Data Fusion vengono assegnati indirizzi IP dalla subnet nel VPC condiviso.
Prima di iniziare
Private Service Connect è disponibile solo in Cloud Data Fusion versione 6.10.0 e successive.
Puoi abilitare Private Service Connect solo quando crei una nuova istanza di Cloud Data Fusion. Non puoi eseguire la migrazione delle istanze esistenti per utilizzare Private Service Connect.
Prezzi
L'ingresso e l'uscita dei dati tramite Private Service Connect sono a pagamento. Per ulteriori informazioni, consulta i prezzi di Private Service Connect.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni necessarie per creare un'istanza di Cloud Data Fusion e un collegamento di rete, chiedi all'amministratore di concederti i seguenti ruoli Identity and Access Management (IAM) nel tuo progetto:
- Crea un'istanza di Cloud Data Fusion:
Cloud Data Fusion Admin (
roles/datafusion.admin) - Crea, visualizza ed elimina i collegamenti di rete:
Compute Network Admin (
roles/compute.networkAdmin)
Per assicurarti che Cloud Data Fusion disponga delle autorizzazioni necessarie per convalidare
la configurazione di rete, chiedi all'amministratore di concedere all'
agente di servizio Cloud Data Fusion
(nel formato service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com)
i seguenti ruoli IAM nel tuo progetto:
Per il VPC associato al collegamento di rete: Compute Network Viewer (
roles/compute.networkViewer)Per consentire a Cloud Data Fusion di aggiungere il progetto tenant all'elenco di accettazione del producer del collegamento di rete:
compute.networkAttachments.getcompute.networkAttachments.updatecompute.networkAttachments.list
Il ruolo più restrittivo con queste autorizzazioni è il ruolo Compute Network Admin (
roles/compute.networkAdmin). Queste autorizzazioni fanno parte del ruolo Agente di servizio API Data Fusion di Cloud Data Fusion (roles/datafusion.serviceAgent), che viene concesso automaticamente all' agente di servizio Cloud Data Fusion. Pertanto, non è richiesta alcuna azione a meno che la concessione del ruolo dell'agente di servizio non sia stata rimossa esplicitamente.
Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Per ulteriori informazioni sulle opzioni di controllo dell'accesso in Cloud Data Fusion, consulta Controllo dell'accesso con IAM.
Crea una rete VPC o un VPC condiviso
Assicurati di aver creato una rete VPC o un VPC condiviso.
Configura Private Service Connect
Per configurare Private Service Connect in Cloud Data Fusion, devi prima creare un collegamento di rete e poi creare un'istanza di Cloud Data Fusion con Private Service Connect.
Crea un collegamento di rete
Il collegamento di rete fornisce un insieme di subnet. Per creare un collegamento di rete:
Console
Nella Google Cloud console, vai alla pagina Collegamenti di rete:
Fai clic su Crea collegamento di rete.
Nel campo Nome, inserisci un nome per il collegamento di rete.
Nell'elenco Rete, seleziona una rete VPC o un VPC condiviso.
Nell'elenco Regione, seleziona una Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.
Nell'elenco Subnet, seleziona un intervallo di subnet.
In Preferenza di connessione, seleziona Accetta connessioni per i progetti selezionati.
Quando crei l'istanza di Cloud Data Fusion, Cloud Data Fusion aggiunge automaticamente il progetto tenant di Cloud Data Fusion all'elenco Progetti accettati.
Non aggiungere Progetti accettati o Progetti rifiutati.
Fai clic su Crea collegamento di rete.
gcloud
Crea una o più subnet. Ad esempio:
gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGIONIl collegamento di rete utilizza queste subnet nei passaggi successivi.
Crea una risorsa di collegamento di rete nella stessa regione dell'istanza di Cloud Data Fusion, con la proprietà
connection-preferenceimpostata suACCEPT_MANUAL:gcloud compute network-attachments create NAME --region=REGION --connection-preference=ACCEPT_MANUAL --subnets=SUBNETSostituisci quanto segue:
NAME: il nome del collegamento di rete.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.SUBNET: il nome della subnet.
L'output di questo comando è un URL di collegamento di rete nel seguente formato:
projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.Prendi nota di questo URL perché Cloud Data Fusion ne ha bisogno per la connettività.
API REST
Crea un collegamento di rete:
alias authtoken="gcloud auth print-access-token" NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME REGION=REGION SUBNET=SUBNET PROJECT_ID=PROJECT_ID read -r -d '' BODY << EOM { "name": "$NETWORK_ATTACHMENT_NAME", "description": "Network attachment for private Cloud Data Fusion", "connectionPreference": "ACCEPT_MANUAL", "subnetworks": [ "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET" ] } EOM curl -H "Authorization: Bearer $(authtoken)" \ -H "Content-Type: application/json" \ -X POST -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"Sostituisci quanto segue:
NETWORK_ATTACHMENT_NAME: il nome del collegamento di rete.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.SUBNET: il nome della subnet.PROJECT_ID: l'ID progetto.
Crea un'istanza di Cloud Data Fusion
Cloud Data Fusion utilizza un blocco CIDR /25 (128 IP) per le risorse nel progetto tenant. Questo è chiamato intervallo non raggiungibile o riservato. Puoi utilizzare gli stessi indirizzi IP nei VPC, ma le VM di Cloud Data Fusion non potranno connettersi alle tue risorse utilizzando questo intervallo.
Nella maggior parte dei casi, questo non è un problema, poiché il blocco CIDR non raggiungibile si trova in un intervallo non RFC 1918 (240.0.0.0/8) per impostazione predefinita. Se vuoi controllare l' intervallo non raggiungibile, consulta Configurazioni avanzate.
Per creare un'istanza di Cloud Data Fusion con Private Service Connect abilitato:
Console
Nella Google Cloud console, vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea istanza.
Nel campo Nome istanza, inserisci un nome per la nuova istanza.
Nel campo Descrizione, inserisci una descrizione per l'istanza.
Nell'elenco Regione, seleziona la Google Cloud regione in cui vuoi creare l'istanza.
Nell'elenco Versione, seleziona
6.10o versioni successive.Seleziona un'Edizione. Per ulteriori informazioni sui prezzi delle diverse edizioni, consulta la panoramica dei prezzi di Cloud Data Fusion.
Espandi Opzioni avanzate e segui questi passaggi:
Seleziona Abilita IP privato.
Seleziona Private Service Connect come Tipo di connettività.
Nella sezione Collegamento di rete, seleziona il collegamento di rete che hai creato in Crea un collegamento di rete.
Fai clic su Crea. Il processo di creazione dell'istanza richiede fino a 30 minuti.
API REST
Esegui questo comando:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"networkAttachment": "$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: l'edizione di Cloud Data Fusion:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID progetto.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID istanza.NETWORK_ATTACHMENT_ID: l'ID del collegamento di rete.
Configurazioni avanzate
Per abilitare la condivisione delle subnet, puoi fornire lo stesso collegamento di rete a più istanze di Cloud Data Fusion. Al contrario, se vuoi dedicare una subnet a una particolare istanza di Cloud Data Fusion, devi fornire un collegamento di rete specifico da utilizzare per l'istanza di Cloud Data Fusion.
Consigliato: per applicare una policy del firewall uniforme a tutte le istanze di Cloud Data Fusion, utilizza lo stesso collegamento di rete.
Se vuoi controllare il blocco CIDR /25 non raggiungibile da Cloud Data Fusion, specifica la proprietà unreachableCidrBlock quando crei l'istanza. Ad esempio:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"unreachableCidrBlock": "$UNREACHABLE_RANGE",
"networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: l'edizione di Cloud Data Fusion:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID progetto.REGION: il nome della Google Cloud regione. Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID istanza.NETWORK_ATTACHMENT_ID: l'ID del collegamento di rete.UNREACHABLE_RANGE: l'intervallo non raggiungibile, ad esempio10.0.0.0/25.
Sicurezza
Questa sezione descrive la sicurezza tra Cloud Data Fusion e i consumer.
Sicurezza da Cloud Data Fusion al consumer
Le interfacce Private Service Connect supportano le regole firewall in uscita per controllare a cosa può accedere Cloud Data Fusion all'interno del VPC. Per ulteriori informazioni, consulta Limitare il traffico in entrata da producer a consumer.
Sicurezza da consumer a Cloud Data Fusion
Le VM di Cloud Data Fusion con interfaccia Private Service Connect bloccano tutto il traffico proveniente dal VPC che non è un pacchetto di risposta.
Passaggi per i casi d'uso della connessione
Le sezioni seguenti descrivono i casi d'uso relativi alla connessione per le istanze private.
Abilita l'accesso privato Google
Per accedere alle risorse tramite indirizzi IP interni, Cloud Data Fusion deve creare i cluster di Managed Service for Apache Spark ed eseguire le pipeline di dati in una subnet con accesso privato Google. Devi abilitare l'accesso privato Google per la subnet che contiene i cluster di Managed Service for Apache Spark.
- Se nella regione in cui vengono avviati i cluster di Managed Service for Apache Spark è presente una sola subnet, il cluster viene avviato in quella subnet.
Se in una regione sono presenti più subnet, devi configurare Cloud Data Fusion in modo che selezioni la subnet con accesso privato Google per l'avvio dei cluster di Managed Service for Apache Spark.
Per abilitare l'accesso privato Google per la subnet, consulta Configurazione dell'accesso privato Google.
(Facoltativo) Abilita il peering DNS
Abilita il peering DNS nei seguenti casi:
- Quando Cloud Data Fusion si connette ai sistemi tramite nomi host e non indirizzi IP
- Quando il sistema di destinazione viene sottoposto a deployment dietro un bilanciatore del carico, come avviene in alcuni deployment SAP