Questa pagina descrive come configurare Private Service Connect in Cloud Data Fusion.
Informazioni su Private Service Connect in Cloud Data Fusion
Le istanze di Cloud Data Fusion potrebbero dover connettersi a risorse situate on-premise, su Google Cloudo su altri provider cloud. Quando utilizzi Cloud Data Fusion con indirizzi IP interni, le connessioni a risorse esterne vengono stabilite tramite una rete VPC (Virtual Private Cloud) nel tuo progettoGoogle Cloud . Il traffico sulla rete non passa attraverso la rete internet pubblica. Quando a Cloud Data Fusion viene fornito l'accesso alla tua rete VPC utilizzando il peering VPC, esistono limitazioni che diventano evidenti quando utilizzi reti su larga scala.
Con le interfacce Private Service Connect, Cloud Data Fusion si connette al tuo VPC senza utilizzare il peering VPC. L'interfaccia Private Service Connect è un tipo di Private Service Connect che consente a Cloud Data Fusion di avviare connessioni private e sicure alle reti VPC consumer. In questo modo non solo si ottiene la flessibilità e la facilità di accesso (come il peering VPC), ma anche l'autorizzazione esplicita e il controllo lato consumer offerti da Private Service Connect.
Il seguente diagramma mostra come viene eseguito il deployment dell'interfaccia Private Service Connect in Cloud Data Fusion:
Figura 1. Deployment dell'interfaccia Private Service Connect
Descrizione della figura 1:
Le macchine virtuali (VM) che eseguono Cloud Data Fusion sono ospitate in un progetto tenant di proprietà di Google. Per accedere alle risorse nel VPC del cliente, le VM Cloud Data Fusion utilizzano l'indirizzo IP assegnato dall'interfaccia di rete Private Service Connect dalla subnet del cliente. Questa subnet viene aggiunta al collegamento di rete utilizzato da Cloud Data Fusion.
I pacchetti IP provenienti dall'interfaccia Private Service Connect vengono trattati in modo simile a quelli provenienti da una VM nella stessa subnet. Questa configurazione consente a Cloud Data Fusion di accedere direttamente alle risorse nel VPC del cliente o in un VPC peer senza bisogno di un proxy.
Le risorse internet diventano accessibili quando Cloud NAT è abilitato nel VPC del cliente, mentre le risorse on-premise sono raggiungibili tramite un'interconnessione.
Per gestire l'ingresso o l'uscita da Private Service Connect, puoi implementare regole firewall.
Vantaggi principali
Di seguito sono riportati i principali vantaggi dell'utilizzo di Cloud Data Fusion con Private Service Connect:
Controllo migliore dello spazio IP. Controlli gli indirizzi IP che Cloud Data Fusion utilizza per connettersi alla tua rete. Scegli le subnet da cui vengono allocati gli indirizzi IP a Cloud Data Fusion. Tutto il traffico da Cloud Data Fusion ha un indirizzo IP di origine dalla subnet configurata.
Private Service Connect elimina la necessità di indirizzi IP riservati da un VPC cliente. Il peering VPC richiede un blocco CIDR /22 (1024 indirizzi IP) per istanza Cloud Data Fusion.
Maggiore sicurezza e isolamento. Configurando un collegamento di rete, controlli quali servizi possono accedere alla tua rete.
Configurazione semplificata dell'istanza Cloud Data Fusion. Crea un collegamento di rete per ogni VPC cliente una sola volta. Non è necessario utilizzare VM proxy per connettersi a risorse su internet, VPC peer o on-premise.
Concetti fondamentali
Questa sezione spiega i concetti coinvolti in Private Service Connect in Cloud Data Fusion.
Collegamento di rete
Il collegamento di rete è una risorsa di regione utilizzata per autorizzare Cloud Data Fusion a utilizzare e stabilire connessioni di rete in modo privato, per accedere alle risorse nel tuo VPC. Per saperne di più, consulta Informazioni sui collegamenti di rete.
VPC condiviso
Di seguito è riportato un caso d'uso per le interfacce Private Service Connect con il VPC condiviso:
La rete o il team dell'infrastruttura possiede le subnet in un progetto host. Consentono ai team delle applicazioni di utilizzare queste subnet dal proprio progetto di servizio.
I team di applicazioni sono proprietari dei collegamenti di rete in un progetto di servizio. L'allegato di rete definisce quali progetti tenant Cloud Data Fusion possono connettersi alle subnet collegate all'allegato di rete.
Puoi creare un collegamento di rete in un progetto di servizio. Le subnet utilizzate in un allegato di rete possono trovarsi solo nel progetto host.
Il seguente diagramma illustra questo caso d'uso:
Figura 2. Caso d'uso per le interfacce Private Service Connect con VPC condiviso
Descrizione della figura 2:
Il collegamento di rete è presente nel service project. L'allegato di rete utilizza una subnet che appartiene a un VPC condiviso nel progetto host.
L'istanza Cloud Data Fusion è presente nel progetto di servizio e utilizza il collegamento di rete del progetto di servizio per stabilire la connettività privata.
All'istanza Cloud Data Fusion vengono assegnati indirizzi IP dalla subnet nel VPC condiviso.
Prima di iniziare
Private Service Connect è disponibile solo in Cloud Data Fusion versione 6.10.0 e successive.
Puoi abilitare Private Service Connect solo quando crei una nuova istanza di Cloud Data Fusion. Non puoi eseguire la migrazione delle istanze esistenti per utilizzare Private Service Connect.
Prezzi
L'ingresso e l'uscita dei dati tramite Private Service Connect vengono addebitati. Per saperne di più, consulta i prezzi di Private Service Connect.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni necessarie per creare un'istanza di Cloud Data Fusion e un collegamento di rete, chiedi all'amministratore di concederti i seguenti ruoli Identity and Access Management (IAM) nel progetto:
- Crea un'istanza Cloud Data Fusion:
Cloud Data Fusion Admin (
roles/datafusion.admin) - Crea, visualizza ed elimina collegamenti di rete:
Compute Network Admin (
roles/compute.networkAdmin)
Per assicurarti che Cloud Data Fusion disponga delle autorizzazioni necessarie per convalidare la configurazione di rete, chiedi all'amministratore di concedere all'agente di servizio Cloud Data Fusion (nel formato service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) i seguenti ruoli IAM sul progetto:
Per il VPC associato all'allegato di rete: Compute Network Viewer (
roles/compute.networkViewer)Affinché Cloud Data Fusion aggiunga il proprio progetto tenant all'elenco di accettazione del produttore del collegamento di rete:
compute.networkAttachments.getcompute.networkAttachments.updatecompute.networkAttachments.list
Il ruolo più restrittivo con queste autorizzazioni è il ruolo Compute Network Admin (
roles/compute.networkAdmin). Queste autorizzazioni fanno parte del ruolo Cloud Data Fusion API Service Agent (roles/datafusion.serviceAgent), che viene concesso automaticamente all'agente di servizio Cloud Data Fusion. Pertanto, non è richiesta alcuna azione, a meno che la concessione del ruolo service agent non sia stata rimossa esplicitamente.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Per saperne di più sulle opzioni di controllo dell'accesso in Cloud Data Fusion, consulta Controllo dell'accesso con IAM.
Crea una rete VPC o VPC condiviso
Assicurati di aver creato una rete VPC o una rete VPC condiviso.
Configurazione di Private Service Connect
Per configurare Private Service Connect in Cloud Data Fusion, devi prima creare un collegamento di rete e poi creare un'istanza di Cloud Data Fusion con Private Service Connect.
Crea un collegamento di rete
Il collegamento di rete fornisce un insieme di subnet. Per creare un allegato di rete:
Console
Nella console Google Cloud , vai alla pagina Allegati di rete:
Fai clic su Crea collegamento di rete.
Nel campo Nome, inserisci un nome per il collegamento di rete.
Dall'elenco Rete, seleziona una rete VPC o un VPC condiviso.
Dall'elenco Regione, seleziona una regione Google Cloud . Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.
Dall'elenco Subnet, seleziona un intervallo di subnet.
In Preferenza di connessione, seleziona Accetta connessioni per i progetti selezionati.
Cloud Data Fusion aggiunge automaticamente il progetto tenant di Cloud Data Fusion all'elenco Progetti accettati quando crei l'istanza Cloud Data Fusion.
Non aggiungere Progetti accettati o Progetti rifiutati.
Fai clic su Crea collegamento di rete.
gcloud
Crea una o più subnet. Ad esempio:
gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGIONL'allegato di rete utilizza queste subnet nei passaggi successivi.
Crea una risorsa di collegamento di rete nella stessa regione dell'istanza Cloud Data Fusion, con la proprietà
connection-preferenceimpostata suACCEPT_MANUAL:gcloud compute network-attachments create NAME --region=REGION --connection-preference=ACCEPT_MANUAL --subnets=SUBNETSostituisci quanto segue:
NAME: il nome del collegamento di rete.REGION: il nome della regione Google Cloud . Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.SUBNET: il nome della subnet.
L'output di questo comando è un URL di collegamento di rete nel seguente formato:
projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.Prendi nota di questo URL perché Cloud Data Fusion ne ha bisogno per la connettività.
API REST
Crea un collegamento di rete:
alias authtoken="gcloud auth print-access-token" NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME REGION=REGION SUBNET=SUBNET PROJECT_ID=PROJECT_ID read -r -d '' BODY << EOM { "name": "$NETWORK_ATTACHMENT_NAME", "description": "Network attachment for private Cloud Data Fusion", "connectionPreference": "ACCEPT_MANUAL", "subnetworks": [ "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET" ] } EOM curl -H "Authorization: Bearer $(authtoken)" \ -H "Content-Type: application/json" \ -X POST -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"Sostituisci quanto segue:
NETWORK_ATTACHMENT_NAME: il nome del collegamento di rete.REGION: il nome della regione Google Cloud . Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.SUBNET: il nome della subnet.PROJECT_ID: l'ID progetto.
Creare un'istanza Cloud Data Fusion
Cloud Data Fusion utilizza un blocco CIDR /25 (128 IP) per le risorse nel progetto tenant. Questo intervallo è chiamato intervallo non raggiungibile o riservato. Puoi utilizzare gli stessi indirizzi IP nei VPC, ma le VM Cloud Data Fusion non potranno connettersi alle tue risorse utilizzando questo intervallo.
Nella maggior parte dei casi, questo non è un problema, poiché il blocco CIDR non raggiungibile si trova in un intervallo non RFC 1918 (240.0.0.0/8), per impostazione predefinita. Se vuoi controllare l'intervallo non raggiungibile, consulta Configurazioni avanzate.
Per creare un'istanza Cloud Data Fusion con Private Service Connect abilitato, segui questi passaggi:
Console
Nella console Google Cloud , vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea istanza.
Nel campo Nome istanza, inserisci un nome per la nuova istanza.
Nel campo Descrizione, inserisci una descrizione per l'istanza.
Dall'elenco Regione, seleziona la regione Google Cloud in cui vuoi creare l'istanza.
Nell'elenco Versione, seleziona
6.10o una versione successiva.Seleziona un'Edizione. Per ulteriori informazioni sui prezzi delle diverse versioni, consulta la Panoramica dei prezzi di Cloud Data Fusion.
Espandi Opzioni avanzate e segui questi passaggi:
Seleziona Abilita IP privato.
Seleziona Private Service Connect come Tipo di connettività.
Nella sezione Collegamento di rete, seleziona il collegamento di rete che hai creato in Crea un collegamento di rete.
Fai clic su Crea. Il processo di creazione dell'istanza richiede fino a 30 minuti.
API REST
Esegui questo comando:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"networkAttachment": "$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: l'edizione di Cloud Data Fusion:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID progetto.REGION: il nome della regione Google Cloud . Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID dell'istanza.NETWORK_ATTACHMENT_ID: l'ID dell'allegato di rete.
Configurazioni avanzate
Per abilitare la condivisione delle subnet, puoi fornire lo stesso collegamento di rete a più istanze di Cloud Data Fusion. Al contrario, se vuoi dedicare una subnet a una particolare istanza Cloud Data Fusion, devi fornire un collegamento di rete specifico da utilizzare per l'istanza Cloud Data Fusion.
Consigliato: per applicare una policy firewall uniforme a tutte le istanze Cloud Data Fusion, utilizza lo stesso collegamento di rete.
Se vuoi controllare il blocco CIDR /25 non raggiungibile da
Cloud Data Fusion, specifica la proprietà unreachableCidrBlock quando
crei l'istanza. Ad esempio:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"unreachableCidrBlock": "$UNREACHABLE_RANGE",
"networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Sostituisci quanto segue:
EDITION: l'edizione di Cloud Data Fusion:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: l'ID progetto.REGION: il nome della regione Google Cloud . Questa regione deve essere la stessa dell'istanza Cloud Data Fusion.INSTANCE_ID: l'ID dell'istanza.NETWORK_ATTACHMENT_ID: l'ID dell'allegato di rete.UNREACHABLE_RANGE: l'intervallo non raggiungibile, ad esempio10.0.0.0/25.
Sicurezza
Questa sezione descrive la sicurezza tra Cloud Data Fusion e i consumer.
Sicurezza dei consumatori di Cloud Data Fusion
Le interfacce Private Service Connect supportano le regole firewall di uscita per controllare a cosa può accedere Cloud Data Fusion all'interno del tuo VPC. Per saperne di più, consulta Limitare l'ingresso di dati dal produttore al consumatore.
Sicurezza da consumer a Cloud Data Fusion
Le VM Cloud Data Fusion con interfaccia Private Service Connect bloccano tutto il traffico proveniente dal tuo VPC che non è un pacchetto di risposta.
Passaggi per i casi d'uso della connessione
Le sezioni seguenti descrivono i casi d'uso relativi alla connessione per le istanze private.
Abilita l'accesso privato Google
Per accedere alle risorse tramite indirizzi IP interni, Cloud Data Fusion deve creare i cluster Dataproc ed eseguire le pipeline di dati in una subnet con accesso privato Google. Devi abilitare l'accesso privato Google per la subnet che contiene i cluster Dataproc.
- Se è presente una sola subnet nella regione in cui vengono avviati i cluster Dataproc, il cluster viene avviato in quella subnet.
Se in una regione sono presenti più subnet, devi configurare Cloud Data Fusion per selezionare la subnet con accesso privato Google per l'avvio dei cluster Dataproc.
Per abilitare l'accesso privato Google per la subnet, consulta la sezione Configurazione dell'accesso privato Google.
(Facoltativo) Attiva il peering DNS
Attiva il peering DNS nei seguenti casi:
- Quando Cloud Data Fusion si connette ai sistemi tramite nomi host e non indirizzi IP
- Quando il sistema di destinazione viene implementato dietro un bilanciatore del carico, come in alcuni deployment SAP