Un'istanza Cloud Data Fusion pubblica consente di creare e gestire pipeline di integrazione dei dati che si connettono a endpoint accessibili pubblicamente. Questo tipo di istanza predefinita utilizza la rete VPC predefinita del progetto per eseguire i cluster di esecuzione e connettersi agli endpoint esterni tramite internet pubblico.
Prima di iniziare
- Abilita l'API Cloud Data Fusion.
- Per creare istanze Cloud Data Fusion è necessaria la seguente autorizzazione:
instances.create. Per saperne di più, consulta Controllo dell'accesso. - Le istanze di Cloud Data Fusion vengono eseguite come service account predefinito di Compute Engine. Per informazioni sui tipi e sui ruoli disponibili, consulta Service account.
- Per impostazione predefinita, Cloud Data Fusion esegue le pipeline utilizzando un cluster Managed Service for Apache Spark nel tuo progetto. Assicurati che il tuo progetto soddisfi i requisiti di networking di Managed Service for Apache Spark.
- I nuovi progetti iniziano con una rete predefinita. La rete predefinita è precompilata con una regola firewall default-allow-ssh, che consente le connessioni in entrata sulla porta TCP 22 da qualsiasi origine a qualsiasi istanza della rete. Nelle versioni precedenti alla 6.2.0, se questa regola per consentire il traffico in entrata sulla porta TCP 22 non esiste nella rete utilizzata dalla tua istanza di Cloud Data Fusion, devi crearla.
Crea un'istanza
Console
Se l'API è abilitata, la sezione Cloud Data Fusion della console Google Cloud mostra una pagina Istanze, in cui puoi creare e gestire le tue istanze di Cloud Data Fusion.
- Nella console, vai alla pagina Cloud Data Fusion.
- Fai clic su Istanze e poi su Crea un'istanza.
- Inserisci un nome istanza.
- Inserisci una Descrizione per l'istanza.
- Specifica la Regione in cui creare l'istanza.
- Specifica la versione di Cloud Data Fusion.
- Seleziona un'Edizione. L'impostazione predefinita è Base.
- (Facoltativo) Fai clic su Aggiungi acceleratori per selezionare gli acceleratori da utilizzare nell'istanza.
- Specifica il service account Managed Service for Apache Spark da utilizzare per eseguire la pipeline di Cloud Data Fusion in Managed Service for Apache Spark. L'impostazione predefinita è l'account Compute Engine. Indipendentemente dalla versione, assicurati che un account di servizio disponga dei ruoli Identity and Access Management appropriati per le tue esigenze. Per saperne di più, consulta Concessione dell'autorizzazione dell'utente account di servizio account.
(Facoltativo) Specifica eventuali opzioni avanzate. Se non specifichi nulla, vengono utilizzati i seguenti valori predefiniti:
Categoria Impostazione Descrizione Predefinito IP privato Abilita indirizzi IP interni Crea l'istanza Cloud Data Fusion con un indirizzo IP interno. Disabilitato Monitoraggio e logging avanzati Abilita Cloud Logging per Managed Service for Apache Spark
Abilita Cloud Monitoring per Managed Service for Apache Spark
Visualizza i log avanzati della pipeline in Cloud Logging. Disabilitato Integrazione della derivazione dei dati Knowledge Catalog Abilita o disabilita l'integrazione con la derivazione dei dati Knowledge Catalog Visualizza la derivazione in Knowledge Catalog. Disabilitato Crittografia Usa chiave di crittografia gestita dal cliente (CMEK) Utilizza il controllo degli accessi basato su ruoli nelle versioni 6.5 e successive. Disabilitato Etichette Una coppia chiave-valore Le etichette delle risorse per l'istanza da utilizzare per annotare eventuali risorse sottostanti correlate, ad esempio le VM di Compute Engine. Le chiavi e i valori delle etichette possono contenere solo lettere, numeri, trattini e trattini bassi. Le chiavi delle etichette devono iniziare con una lettera o un numero. Nessuno Manutenzione Abilita periodo di manutenzione Imposta il periodo di tempo in cui Cloud Data Fusion può eseguire operazioni di manutenzione sull'istanza. Per saperne di più, consulta Configura i periodi di manutenzione. Disabilitato Fai clic su Crea. Il processo di creazione dell'istanza richiede fino a 30 minuti.
Mentre Cloud Data Fusion crea l'istanza, accanto al nome dell'istanza nella pagina Istanze viene visualizzata una rotella di avanzamento. Al termine, si trasforma in un segno di spunta verde e indica che puoi iniziare a utilizzare l'istanza.
API
Crea un'istanza:
Per creare un'istanza Cloud Data Fusion con l'API REST Cloud Data Fusion, crea una richiesta API instances.create, compilando la risorsa Instance con le informazioni di configurazione.
Passaggi successivi
- Scopri di più su Cloud Data Fusion.
- Segui un tutorial.