Gestire l'amministrazione di Studio

Questa pagina spiega le funzionalità di amministrazione fornite da Cloud Data Fusion Studio per gestire le configurazioni. Cloud Data Fusion segue una gerarchia in cui ogni istanza può avere più spazi dei nomi. Da Cloud Data Fusion Studio, gli amministratori possono gestire centralmente tutti gli spazi dei nomi o gestirli singolarmente. Cloud Data Fusion Studio fornisce i seguenti controlli di sistema e dello spazio dei nomi.

Amministrazione sistema

Se fai clic su Amministratore di sistema in Cloud Data Fusion Studio, vengono visualizzate le seguenti schede:

  • La scheda Gestione: visualizza lo stato di integrità di vari servizi Cloud Data Fusion. Puoi anche visualizzare i log di ciascun servizio.

  • La scheda Configurazione: crea, visualizza e modifica i seguenti controlli:

I provisioner sono responsabili della creazione, dell'inizializzazione e dell'eliminazione dell'ambiente cloud in cui vengono eseguite le pipeline. Ogni provisioner espone un insieme di configurazioni utilizzate per controllare il tipo di cluster creato ed eliminato. Provisioner diversi creano tipi diversi di cluster.

Ogni profilo di calcolo ha un ambito: sistema o utente. Puoi utilizzare un profilo di calcolo di sistema per tutti gli spazi dei nomi sottostanti. I profili di calcolo utente esistono all'interno di uno spazio dei nomi e solo le pipeline in quello spazio dei nomi possono utilizzare i profili di calcolo utente.

Nella scheda Configurazioni dell'amministratore di sistema, puoi creare un profilo di calcolo di sistema applicato a tutti gli spazi dei nomi. Cloud Data Fusion assegna un profilo di calcolo predefinito.

Quando crei un profilo di calcolo, seleziona il provisioner, che il profilo utilizza per creare e configurare i dettagli del runtime cloud.

Preferenze di sistema

Le preferenze sono configurazioni predefinite che si applicano a vari livelli all'interno di Cloud Data Fusion, tra cui il sistema stesso, gli spazi dei nomi, le applicazioni (che contengono le pipeline) e i singoli programmi all'interno delle pipeline. Le preferenze consentono di impostare valori predefiniti per le configurazioni di uso comune. Questi valori predefiniti possono essere ereditati da pipeline e programmi a livelli inferiori, riducendo le attività di configurazione ripetitive. Per ulteriori informazioni, consulta Gestire macro, preferenze e argomenti di runtime.

Azione di chiamata HTTP

L'azione di chiamata HTTP nella pagina Amministratore di sistema ti consente di interagire con l'API di Cloud Data Fusion o potenzialmente con le API di altri Google Cloud servizi direttamente dall'interfaccia di Cloud Data Fusion Studio. Tuttavia, per creare pipeline di elaborazione dei dati con origini dati esterne, utilizza invece il plug-in HTTP e il relativo esecutore di chiamate HTTP all'interno delle pipeline per una soluzione più completa. È leggermente diversa dall'azione di chiamata HTTP, ma i concetti sottostanti sono simili.

Configurazioni e casi d'uso

L'azione di chiamata HTTP viene utilizzata principalmente per attività amministrative o scopi di configurazione all'interno di Cloud Data Fusion. Ti consente di interagire con l'API Data Fusion o con altri Google Cloud servizi che espongono un'API HTTP direttamente da Cloud Data Fusion Studio.

Configurazioni

Puoi definire i seguenti dettagli per una chiamata HTTP:

  • URL: l'endpoint di destinazione del servizio web che vuoi chiamare.
  • Metodo: il metodo HTTP da utilizzare, ad esempio GET, POST, o PUT.
  • (Facoltativo) Intestazioni: eventuali intestazioni personalizzate richieste per la richiesta.
  • (Facoltativo) Corpo: i dati da inviare nel corpo della richiesta, ad esempio per POST e PUT chiamate.

Puoi quindi eseguire la chiamata HTTP definita e visualizzare la risposta del servizio web all'interno di Cloud Data Fusion Studio.

Casi d'uso
  • Testare le chiamate API Data Fusion. Puoi utilizzare l'azione di chiamata HTTP per testare o esplorare le funzionalità dell'API Data Fusion direttamente dall'interfaccia web. Questa azione può essere utile per comprendere il comportamento dell'API o risolvere potenziali problemi.
  • Gestire gli spazi dei nomi (avanzato). Sebbene esista un'interfaccia utente dedicata per la gestione degli spazi dei nomi, l'azione di chiamata HTTP può essere utilizzata per attività avanzate effettuando chiamate direttamente all'API Cloud Data Fusion per la creazione, l'eliminazione o la configurazione degli spazi dei nomi.
  • Interagire con altri Google Cloud servizi (limitato). Se altri Google Cloud servizi che utilizzi hanno un'API HTTP documentata pubblicamente, puoi utilizzare l'azione di chiamata HTTP per interagire con questi servizi, anche se si tratta di un caso d'uso non comune.
Considerazioni importanti
  • Sicurezza: presta attenzione quando utilizzi l'azione di chiamata HTTP, soprattutto con dati sensibili o chiamate API Data Fusion che potrebbero influire sul tuo ambiente. Assicurati di comprendere le implicazioni di ogni chiamata API prima di eseguirla.
  • Limitazioni: l'azione di chiamata HTTP è destinata principalmente ad attività amministrative e a scopi di test. Non è progettata per la creazione di pipeline di elaborazione dei dati complesse che comportano la manipolazione dei dati all'interno di Cloud Data Fusion.
  • Alternativa per le pipeline: per integrare origini dati o servizi esterni nelle pipeline di dati, utilizza il plug-in HTTP e il relativo esecutore di chiamate HTTP all'interno delle definizioni delle pipeline. In questo modo puoi gestire le interazioni HTTP all'interno dei flussi di lavoro di elaborazione dei dati in modo più affidabile e controllato.

Amministrazione dello spazio dei nomi

Se fai clic su Amministratore dello spazio dei nomi in Cloud Data Fusion Studio, puoi gestire le configurazioni per lo spazio dei nomi specifico. Per ogni spazio dei nomi, puoi definire i seguenti aspetti:

  • Profili di calcolo: i profili configurati in Amministratore dello spazio dei nomi sono profili di calcolo utente. Solo le pipeline in quello spazio dei nomi possono utilizzare questi profili di calcolo utente. Per ulteriori informazioni, consulta Gestire i profili di calcolo.
  • Preferenze: le preferenze definite a livello di spazio dei nomi sono applicabili a spazio dei nomi, applicazioni (che contengono le pipeline) e singoli programmi all'interno delle pipeline. Per ulteriori informazioni, consulta Gestire macro, preferenze e argomenti di runtime.
  • Connessioni: Cloud Data Fusion ti consente di riutilizzare le connessioni a origini e sink nelle pipeline di dati. Puoi aggiungere connessioni nella pagina Amministratore dello spazio dei nomi. Per ulteriori informazioni, consulta Creare e gestire le connessioni.
  • Driver: alcuni plug-in in Cloud Data Fusion richiedono l'aggiunta di un driver JDBC allo spazio dei nomi. Ad esempio, prima di poter eseguire una pipeline con un plug-in di origine batch MySQL, devi aggiungere il driver MySQL supportato allo spazio dei nomi. Puoi caricare o rimuovere i driver JDBC in uno spazio dei nomi dalla pagina Amministratore dello spazio dei nomi o direttamente dall'Hub. Per ulteriori informazioni, consulta Driver dei plug-in.
  • Gestione del controllo del codice sorgente: per gestire in modo efficiente il processo di sviluppo delle pipeline di cui è stato eseguito il deployment, la gestione del controllo del codice sorgente ti consente di collegare uno spazio dei nomi al repository del sistema di controllo del codice sorgente. Per ulteriori informazioni, consulta Gestire le pipeline utilizzando la gestione del controllo del codice sorgente.
  • Service account: per controllare l'accesso alle Google Cloud risorse, gli spazi dei nomi in Cloud Data Fusion utilizzano per impostazione predefinita Service Agent dell'API Data Fusion di Cloud.

Per un migliore isolamento dei dati, puoi associare un account di servizio Identity and Access Management (IAM) personalizzato (noto come service account per spazio dei nomi) a ogni spazio dei nomi. Il service account IAM personalizzato, che può essere diverso per spazi dei nomi diversi, ti consente di controllare l'accesso alle risorse tra gli spazi dei nomi per le operazioni di progettazione della pipeline in Cloud Data Fusion, come l'anteprima della pipeline, Wrangler e la convalida della pipeline. Google Cloud Per ulteriori informazioni, consulta Controllo dell'accesso con il service account dello spazio dei nomi.

Passaggi successivi