Connettersi a un'origine pubblica da un'istanza privata

Questa pagina descrive come connettersi ad applicazioni software-as-a-service (SaaS) come Salesforce e a servizi cloud di terze parti come Amazon S3 da un'istanza privata di Cloud Data Fusion durante lo sviluppo di una pipeline.

In questa guida vengono utilizzati i termini uscita e controllo dell'uscita:

• In uscita si riferisce al traffico di rete che esce da Google Cloud tramite la rete internet pubblica. In genere, l'uscita si verifica quando crei una pipeline che legge o scrive in un servizio SaaS come Salesforce o in un servizio cloud pubblico come Amazon S3.

• Il controllo in uscita definisce i guardrail per il traffico in uscita utilizzando una VM proxy, che consente il traffico in uscita a un insieme di domini preconfigurati e impedisce il traffico in uscita a tutti gli altri domini. Consente un perimetro di sicurezza più elevato per il traffico in uscita e può impedire l'uscita indesiderata da un'istanza privata.

Il seguente diagramma dell'architettura di sistema mostra come un'istanza privata di Cloud Data Fusion si connette a internet pubblico quando sviluppi una pipeline:

Quando progetti la pipeline in questo scenario, Cloud Data Fusion instrada il traffico in uscita tramite il progetto cliente in Cloud Data Fusion Preview o Wrangler. Questa procedura utilizza le seguenti risorse:

• Una route di rete VPC personalizzata: una route di rete VPC personalizzata instrada il traffico tramite una route personalizzata importata alle VM gateway, che vengono esportate in una VPC del progetto tenant utilizzando il peering VPC.

• Una VM gateway: una VM gateway instrada il traffico in uscita da Google Cloud dal progetto tenant Cloud Data Fusion a un cloud SaaS o di terze parti tramite internet pubblico. Gestisci questa VM nel tuo progetto cliente. Puoi configurarlo in un ambiente ad alta disponibilità utilizzando un bilanciatore del carico interno. Ti consigliamo di riutilizzare la VM per più istanze private di Cloud Data Fusion all'interno della stessa rete VPC.

Per informazioni sulla configurazione del controllo in uscita negli ambienti di progettazione ed esecuzione, consulta Controllare l'uscita in un'istanza privata.

Prima di iniziare

• Puoi connetterti a un'origine pubblica da un'istanza privata nelle versioni 6.4 o successive di Cloud Data Fusion. Per utilizzare una di queste versioni, puoi creare una nuova istanza privata di Cloud Data Fusion o eseguire l'upgrade di un'istanza esistente alla versione 6.4.0.

• Quando crei una connessione in peering VPC per la tua istanza, seleziona Esporta route.

Configurare la connettività a internet

I seguenti passaggi descrivono come accedere a un bucket Amazon S3 da un'istanza privata di Cloud Data Fusion in Wrangler. Gli stessi passaggi si applicano all'accesso a qualsiasi origine dati su internet pubblico quando progetti una pipeline in anteprima o Wrangler.

In questa guida viene utilizzata una sola VM, ma per le applicazioni mission critical, ti consigliamo di creare VM con bilanciamento del carico. Per maggiori informazioni, consulta Configura la VM ad alta affidabilità.

Crea un gateway NAT

Crea un gateway Cloud NAT nella stessa regione e rete VPC della tua istanza privata di Cloud Data Fusion.

Vai a Cloud NAT

Crea un'istanza VM gateway e regole firewall

Nota: gli esempi in questa guida descrivono come configurare una VM gateway che utilizza un'immagine Debian (debian-10-buster-v20210316). È consigliabile utilizzare una VM con un IP privato.

Console

1. Vai alla pagina Istanze VM.

   Vai a Istanze VM

2. Fai clic su Crea istanza. Ti consigliamo di utilizzare una VM senza IP esterno.

3. Utilizza lo stesso VPC in cui è configurato il peering di rete con l'istanza privata di Cloud Data Fusion. Per saperne di più sul peering di rete VPC in questo scenario, consulta la sezione Prima di iniziare.

4. Abilita l'inoltro IP per l'istanza nella stessa rete dell'istanza Cloud Data Fusion.

5. Nel campo Script di avvio, inserisci il seguente script:

   #! /bin/bash
   echo 1 > /proc/sys/net/ipv4/ip_forward
   iptables -t nat -A POSTROUTING -s 0.0.0.0/0 -j MASQUERADE
   echo net.ipv4.ip_forward=1 > /etc/sysctl.d/11-gce-network-security.conf
   iptables-save
   

   Per saperne di più, consulta Esecuzione di script di avvio.

   Nota :per essere più restrittivo, sostituisci 0.0.0.0/0 con l'intervallo IP allocato all'istanza privata di Cloud Data Fusion.

   Per ottenere l'intervallo IP allocato per l'istanza Cloud Data Fusion, vai alla pagina Dettagli istanza di Cloud Data Fusion.

   

gcloud

Per creare la VM gateway e le regole firewall, esegui questo script in Google Cloud CLI:

export CDF_PROJECT=CDF_PROJECT
export GATEWAY_VM=GATEWAY_VM_NAME
export ZONE=VM_ZONE
export SUBNET=SUBNET
export VPC_NETWORK=VPC_NETWORK
export COMPUTE_ENGINE_SA=COMPUTE_ENGINE_SA

gcloud beta compute --project=$CDF_PROJECT instances create $GATEWAY_VM --zone=$ZONE --machine-type=e2-medium --subnet=$SUBNET --network-tier=PREMIUM --metadata=startup-script=\#\!\ /bin/bash$'\n'echo\ 1\ \>\ /proc/sys/net/ipv4/ip_forward$'\n'iptables\ -t\ nat\ -A\ POSTROUTING\ -s\ 0.0.0.0/0\ -j\ MASQUERADE$'\n'echo\ net.ipv4.ip_forward=1\ \>\ /etc/sysctl.d/11-gce-network-security.conf$'\n'iptables-save  --can-ip-forward --no-address --maintenance-policy=MIGRATE --service-account=$COMPUTE_ENGINE_SA --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/trace.append --tags=http-server,https-server --image=debian-10-buster-v20210316 --image-project=debian-cloud --boot-disk-size=10GB --boot-disk-type=pd-balanced --boot-disk-device-name=$GATEWAY_VM --no-shielded-secure-boot --shielded-vtpm --shielded-integrity-monitoring --reservation-affinity=any

gcloud compute --project=$CDF_PROJECT firewall-rules create egress-allow-http --direction=INGRESS --priority=1000 --network=$VPC_NETWORK --action=ALLOW --rules=tcp:80 --source-ranges=CDF_IP_RANGE --target-tags=http-server

gcloud compute --project=$CDF_PROJECT firewall-rules create egress-allow-https --direction=INGRESS --priority=1000 --network=$VPC_NETWORK --action=ALLOW --rules=tcp:443 --source-ranges=CDF_IP_RANGE --target-tags=https-server

Sostituisci quanto segue:

• CDF_PROJECT: l'identificatore univoco personalizzabile per il tuo progetto
• GATEWAY_VM: il nome della VM che vuoi configurare
• ZONE: la zona della VM
• SUBNET: la subnet
• VPC_NETWORK: il nome della VM
• COMPUTE_ENGINE_SA: il nome del tuo account di servizio Compute Engine
• CDF_IP_RANGE: l'intervallo IP allocato all'istanza Cloud Data Fusion

Utilizzo di un VPC condiviso

Se utilizzi un VPC condiviso per connettere la tua istanza Cloud Data Fusion privata alle origini su internet pubblico, crea una VM gateway nel progetto host in cui è configurato il peering di rete VPC con il progetto tenant.

Creare un percorso personalizzato

Crea una route personalizzata per connetterti all'istanza VM gateway che hai creato.

Console

Per creare la route nella console Google Cloud , consulta Aggiunta di una route statica.

Quando configuri la route:

• Imposta la priorità su un valore maggiore o uguale a 1001. Imposta la destinazione sull'intervallo IP allocato all'istanza Cloud Data Fusion.
• Utilizza lo stesso progetto e lo stesso VPC dell'istanza privata di Cloud Data Fusion.
• Assicurati che la configurazione del peering di rete VPC consenta l'esportazione delle route, in modo che il VPC del progetto tenant Cloud Data Fusion importi questa route personalizzata tramite il peering di rete VPC.

gcloud

Per creare la route in gcloud CLI:

export ROUTE=ROUTE
gcloud beta compute routes create $ROUTE --project=$CDF_PROJECT \
    --network=$VPC_NETWORK --priority=1001 \
    --destination-range=0.0.0.0/0 \
    --next-hop-instance=$GATEWAY_VM \
    --next-hop-instance-zone=$ZONE

Sostituisci quanto segue:

• ROUTE: il nome della route personalizzata.

Verificare la configurazione

Dopo aver eseguito i passaggi precedenti, verifica di poter accedere ai servizi del bucket S3 (o ad altri servizi SaaS o cloud pubblico) in Anteprima e Wrangler.

Configura un gateway ad alta affidabilità

Consigliato:per le applicazioni mission critical, ti consigliamo di creare VM con bilanciamento del carico.

Crea regole firewall per i controlli di integrità

Crea regole firewall per consentire:

• Porta 80 (HTTP) e porta 443 (HTTPS) da tutti gli intervalli di origine.

• Traffico TCP, UDP e ICMP proveniente dagli indirizzi IP del probe del controllo di integrità. Ad esempio: 130.211.0.0/22,35.191.0.0/16.

Console

Crea regole firewall per consentire le porte da tutti gli intervalli di origine e regole firewall per consentire il traffico TCP, UDP e ICMP dagli indirizzi IP del controllo di integrità, ad esempio 130.211.0.0/22,35.191.0.0/16.

Consulta la sezione Creazione di controlli di integrità.

gcloud

Crea una regola firewall per i controlli di integrità:

export CDF_PROJECT=PROJECT_ID
export VPC_NETWORK=VPC_NETWORK

gcloud compute --project=$CDF_PROJECT firewall-rules create vpc-allow-http \
    --direction=INGRESS --priority=1000 \
    --network=$VPC_NETWORK \
    --action=ALLOW --rules=tcp:80 \
    --source-ranges=CDF_IP_RANGE \
    --target-tags=http-server

gcloud compute --project=$CDF_PROJECT firewall-rules create vpc-allow-https \
    --direction=INGRESS --priority=1000 --network=$VPC_NETWORK \
    --action=ALLOW --rules=tcp:443 --source-ranges=CDF_IP_RANGE \
    --target-tags=https-server

gcloud compute --project=$CDF_PROJECT firewall-rules create allow-health-checks \
    --network=$VPC_NETWORK \
    --action=allow --direction=ingress \
    --target-tags=allow-health-checks \
    --source-ranges=130.211.0.0/22,35.191.0.0/16 \
    --rules=tcp,udp,icmp

Sostituisci quanto segue:

• PROJECT_ID: l'identificatore univoco personalizzabile per il tuo progetto.
• VPC_NETWORK: il nome della tua rete VPC.
• CDF_IP_RANGE: l'intervallo di indirizzi IP allocato a Cloud Data Fusion.

Crea un modello di istanza VM gateway

Console

Quando crei un modello di istanza nella console:

• Creala nello stesso VPC dell'istanza Cloud Data Fusion.
• Consigliato: utilizza una VM con un indirizzo IP privato.
• Attiva le porte HTTP/HTTPS.
• Abilita l'inoltro IP

• Nel campo Script di avvio, inserisci il seguente script:

  #! /bin/bash
  echo 1 > /proc/sys/net/ipv4/ip_forward
  iptables -t nat -A POSTROUTING -s 0.0.0.0/0 -j MASQUERADE
  echo net.ipv4.ip_forward=1 > /etc/sysctl.d/11-gce-network-security.conf
  iptables-save
  

  Per saperne di più, consulta Esecuzione di script di avvio.

  Nota :per essere più restrittivo, sostituisci 0.0.0.0/0 con l'intervallo IP allocato all'istanza privata di Cloud Data Fusion.

  Per ottenere l'intervallo IP allocato per l'istanza Cloud Data Fusion, vai alla pagina Dettagli istanza di Cloud Data Fusion.

gcloud

Crea un modello di istanza:

export TEMPLATE_NAME=TEMPLATE_NAME
export REGION=REGION
export SUBNET=SUBNET
export SERVICE_ACCOUNT=SERVICE_ACCOUNT

gcloud beta compute --project=$CDF_PROJECT instance-templates create $TEMPLATE_NAME \
--machine-type=e2-medium \
--subnet=projects/$CDF_PROJECT/regions/$REGION/subnetworks/$SUBNET \
--network-tier=PREMIUM --metadata=startup-script=sudo\ bash\ -c\ \"echo\ 1\ \>\ /proc/sys/net/ipv4/ip_forward\"$'\n'sudo\ iptables\ -t\ nat\ -A\ POSTROUTING\ -s\ 0.0.0.0/0\ -j\ MASQUERADE$'\n'sudo\ bash\ -c\ \"echo\ net.ipv4.ip_forward=1\ \>\ /etc/sysctl.d/11-gce-network-security.conf\"$'\n'sudo\ iptables-save \
--can-ip-forward --no-address --maintenance-policy=MIGRATE \
--service-account=$SERVICE_ACCOUNT \
--scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/trace.append \
--region=$REGION --tags=http-server,https-server,allow-health-checks \
--image=debian-10-buster-v20210316 \
--image-project=debian-cloud --boot-disk-size=10GB \
--boot-disk-type=pd-balanced \
--boot-disk-device-name=$TEMPLATE_NAME \
--no-shielded-secure-boot --no-shielded-vtpm \
--no-shielded-integrity-monitoring \
--reservation-affinity=any

Crea un controllo di integrità

Su questa istanza VM gateway non viene eseguito alcun servizio, quindi puoi utilizzare la porta 22 per il tuo controllo di integrità.

Console

Consulta la sezione Creazione di controlli di integrità.

gcloud

Crea un controllo di integrità:

export HEATH_CHECK=HEALTH_CHECK_NAME

gcloud beta compute health-checks create tcp $HEATH_CHECK --project=$CDF_PROJECT \
--port=22 --proxy-header=NONE --no-enable-logging \
--check-interval=5 --timeout=5 \
--unhealthy-threshold=2 --healthy-threshold=2

Crea un gruppo di istanze

Utilizzando il controllo di integrità creato nel passaggio precedente, crea un gruppo di istanze:

Console

Consulta Creazione di gruppi di istanze gestite.

gcloud

Crea un gruppo di istanze:

export INSTANCE_GROUP=INSTANCE_GROUP
gcloud beta compute --project=$CDF_PROJECT instance-groups managed create $INSTANCE_GROUP \
--base-instance-name=$INSTANCE_GROUP \
--template=$TEMPLATE_NAME --size=1 --zone=$ZONE \
--health-check=test --initial-delay=300

gcloud beta compute --project "$CDF_PROJECT" instance-groups managed set-autoscaling "$INSTANCE_GROUP" \
--zone "$ZONE" --cool-down-period "60" \
--max-num-replicas "10" --min-num-replicas "1" \
--target-cpu-utilization "0.6" --mode "on"

Crea un bilanciatore del carico

Crea il bilanciatore del carico TCP (ILB) dal gruppo di istanze creato nel passaggio precedente.

Aggiungi la route personalizzata al bilanciatore del carico

Aggiungi la route personalizzata al bilanciatore del carico interno (ILB) nella stessa VPC dell'istanza Cloud Data Fusion.

Console

Vai alla pagina Rete VPC.

Vai a Reti VPC

Nella scheda Route, fai clic su Crea route.

gcloud

Aggiungi la route personalizzata al bilanciatore del carico interno:

export ROUTE=ROUTE_NAME
export ILB_FRONTEND=<ip_of_ilb_frontend>
gcloud beta compute routes create $ROUTE --project=$CDF_PROJECT \
--network=$VPC_NETWORK --priority=1001 \
--destination-range=0.0.0.0/0 \
--next-hop-ilb=$ILB_FRONTEND \
--next-hop-ilb-region=$REGION

Risoluzione dei problemi

Ricezione di errori di timeout della connessione in Anteprima o Wrangler

Quando configuri i controlli in uscita, potresti visualizzare l'errore Connection Timeout.

Per risolvere il problema, verifica che siano presenti le seguenti impostazioni:

• Il peering di rete VPC tra il progetto tenant e il progetto cliente è presente.
• Il peering di rete VPC ha abilitato le route di esportazione.
• La route personalizzata alla VM gateway o al bilanciamento del carico interno non è mancante.
• Le regole firewall che consentono il traffico HTTP e HTTPS non sono mancanti.

I controlli di integrità del gruppo di istanze non vanno a buon fine

Verifica che siano presenti regole firewall per consentire il traffico TCP, UDP e ICMP dall'intervallo di origine 130.211.0.0/22,35.191.0.0/16.

La pipeline non viene eseguita in Managed Service for Apache Spark

Per accedere a internet pubblico al momento dell'esecuzione, attiva Cloud NAT nella stessa regione e rete del cluster Managed Service for Apache Spark.

Passaggi successivi

• Scopri come controllare l'uscita in un'istanza privata di Cloud Data Fusion solo per un insieme specifico di domini.
• Scopri di più sul networking in Cloud Data Fusion.