Panoramica dei plug-in

Quando crei una pipeline di dati in Cloud Data Fusion, utilizzi una serie di fasi, note come nodi, per spostare e gestire i dati mentre fluiscono dall'origine al sink. Ogni nodo è costituito da un plug-in, un modulo personalizzabile che estende le funzionalità di Cloud Data Fusion.

Puoi trovare i plug-in nell'interfaccia web di Cloud Data Fusion andando alla pagina Studio. Per altri plug-in, fai clic su Hub.

Plug-in nell'interfaccia web.

Tipi di plug-in

I plug-in sono suddivisi nelle seguenti categorie:

  • Fonti
  • Trasformazioni
  • Analytics
  • Sink
  • Condizioni e azioni
  • Gestori degli errori e avvisi

Fonti

I plug-in origine si connettono a database, file o flussi in tempo reale da cui la pipeline legge i dati. Configuri le origini per la pipeline di dati utilizzando l'interfaccia web, in modo da non dover scrivere il codice per connessioni di basso livello.

Trasformazioni

I plug-in di trasformazione modificano i dati dopo l'importazione da un'origine. Ad esempio, puoi clonare un record, modificare il formato del file in JSON o utilizzare il plug-in JavaScript per creare una trasformazione personalizzata.

Analytics

I plug-in di analisi eseguono aggregazioni, ad esempio uniscono i dati di diverse origini ed eseguono operazioni di analisi e machine learning.

Sink

I plug-in sink scrivono i dati in risorse come Cloud Storage, BigQuery, Spanner, database relazionali, file system e mainframe. Puoi eseguire query sui dati scritti nel sink utilizzando l'interfaccia web o l'API REST di Cloud Data Fusion.

Condizioni e azioni

Utilizza i plug-in di condizione e azione per programmare azioni che si svolgono durante un flusso di lavoro che non manipola direttamente i dati al suo interno. Ad esempio:

  • Utilizza il plug-in Database per pianificare l'esecuzione di un comando del database alla fine della pipeline.
  • Utilizza il plug-in Sposta file per attivare un'azione che sposta i file all'interno di Cloud Storage.

Gestori degli errori e avvisi

Se le fasi rilevano valori nulli, errori logici o fonti di errore, puoi utilizzare un plug-in di gestione degli errori per individuarli. Utilizza questi plug-in per trovare errori nell'output dopo un plug-in di trasformazione o analisi. Puoi scrivere gli errori in un database per l'analisi.

Passaggi successivi