Utilizzare i Controlli di servizio VPC con Cloud Data Fusion

Se prevedi di creare un'istanza Cloud Data Fusion con un indirizzo IP privato, puoi fornire ulteriore sicurezza stabilendo prima un perimetro di sicurezza per l'istanza utilizzando i Controlli di servizio VPC (VPC-SC). Il perimetro di sicurezza VPC-SC attorno all'istanza Cloud Data Fusion privata e ad altre risorse Google Cloud contribuisce a mitigare il rischio di esfiltrazione di dati. Ad esempio, con i controlli di servizio VPC, se una pipeline Cloud Data Fusion legge i dati da una risorsa supportata, come un set di dati BigQuery, che si trova all'interno del perimetro, e poi tenta di scrivere l'output in una risorsa al di fuori del perimetro, la pipeline non andrà a buon fine.

Le risorse Cloud Data Fusion sono esposte su due superfici API:

  1. La superficie API del control plane datafusion.googleapis.com, che consente di eseguire operazioni a livello di istanza, come la creazione e l'eliminazione di istanze.

  2. La superficie API del piano dati datafusion.googleusercontent.com (l'interfaccia utente web di Cloud Data Fusion nella console Google Cloud ), che viene eseguita su un'istanza di Cloud Data Fusion per creare ed eseguire pipeline di dati.

Configura i Controlli di servizio VPC con Cloud Data Fusion limitando la connettività a entrambe queste superfici API.

Strategie:

  • Le pipeline Cloud Data Fusion vengono eseguite sui cluster Managed Service for Apache Spark. Per proteggere un cluster Managed Service for Apache Spark con un perimetro di servizio, segui le istruzioni per configurare la connettività privata per consentire al cluster di funzionare all'interno del perimetro.

  • Non utilizzare plug-in che utilizzano API Google Cloud non supportate dai Controlli di servizio VPC. Se utilizzi plug-in non supportati, Cloud Data Fusion bloccherà le chiamate API, con conseguente errore di anteprima ed esecuzione della pipeline.

  • Per utilizzare Cloud Data Fusion all'interno di un perimetro di servizio dei Controlli di servizio VPC, aggiungi o configura diverse voci DNS in modo che i seguenti domini puntino all'IP virtuale (VIP) con limitazioni:

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

Limitazioni:

  • Stabilisci il perimetro di sicurezza dei Controlli di servizio VPC prima di creare l'istanza privata di Cloud Data Fusion. La protezione del perimetro per le istanze create prima della configurazione dei Controlli di servizio VPC non è supportata.

  • Al momento, la UI del piano dati di Cloud Data Fusion non supporta la specifica dei livelli di accesso utilizzando l'accesso basato sull'identità.

Limitazione delle superfici API Data Fusion

Limitazione della superficie del control plane

Consulta Configurazione della connettività privata alle API e ai servizi Google per limitare la connettività alla superficie del piano di controllo dell'API datafusion.googleapis.com.

Limitazione della superficie del data plane

Per configurare la connettività privata al piano dati API, configura il DNS completando i seguenti passaggi per i domini *.datafusion.googleusercontent.com e *.datafusion.cloud.google.com.

  1. Crea una nuova zona privata utilizzando Cloud DNS:

    1. Tipo di zona: seleziona Privata
    2. Nome zona: datafusiongoogleusercontentcom
    3. Nome DNS: datafusion.googleusercontent.com

    4. Rete: seleziona la rete IP privata che hai scelto quando hai creato l'istanza di Cloud Data Fusion.

      Come compilare i campi della zona.

  2. Nella pagina Cloud DNS, fai clic sul nome della zona DNS datafusiongoogleusercontent per aprire la pagina Dettagli zona. Sono elencati due record: un record NS e un record SOA. Utilizza Aggiungi standard per aggiungere i seguenti due set di record alla tua zona DNS datafusiongoogleusercontent.

    1. Aggiungi un record CNAME: nella finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS *.datafusion.googleusercontent.com. al nome canonico datafusion.googleusercontent.com:

      • Nome DNS: "*.datafusion.googleusercontent.com"

      • Nome canonico: "datafusion.googleusercontent.com"

        Come compilare i campi della zona.

    2. Aggiungi un record A: in una nuova finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS datafusion.googleusercontent.com. agli indirizzi IP 199.36.153.4 - 199.36.153.7:

      • Nome DNS: ".datafusion.googleusercontent.com"

      • Indirizzo IPv4:

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        Come compilare i campi della zona.

      La pagina datafusiongoogleusercontent Dettagli zona mostra i seguenti set di record:

      Come compilare i campi della zona.

  3. Segui i passaggi precedenti per creare una zona DNS privata e aggiungere un insieme di record per il dominio *.datafusion.cloud.google.com.

Passaggi successivi