Plug-ins – Übersicht

Wenn Sie eine Datenpipeline in Cloud Data Fusion erstellen, verwenden Sie eine Reihe von Phasen, die als Knoten bezeichnet werden, um Daten zu verschieben und zu verwalten, während sie von der Quelle zur Senke fließen. Jeder Knoten besteht aus einem Plug-in, einem anpassbaren Modul, das die Funktionen von Cloud Data Fusion erweitert.

Sie finden die Plug-ins in der Cloud Data Fusion-Web-UI auf der Seite Studio. Wenn Sie weitere Plug-ins sehen möchten, klicken Sie auf Hub.

Plugins in der Weboberfläche

Plug-in-Typen

Plug-ins sind in die folgenden Kategorien unterteilt:

  • Quellen
  • Transformationen
  • Analytics
  • Senken
  • Bedingungen und Aktionen
  • Fehler-Handler und Benachrichtigungen

Quellen

Quell-Plug-ins stellen eine Verbindung zu Datenbanken, Dateien oder Echtzeitstreams her, aus denen Ihre Pipeline Daten liest. Sie richten Quellen für Ihre Datenpipeline über die Weboberfläche ein und müssen sich daher nicht um das Programmieren untergeordneter Verbindungen kümmern.

Transformationen

Mit Transformations-Plug-ins werden Daten geändert, nachdem sie aus einer Quelle aufgenommen wurden. Sie können beispielsweise einen Datensatz klonen, das Dateiformat in JSON ändern oder das JavaScript-Plug-in verwenden, um eine benutzerdefinierte Transformation zu erstellen.

Analytics

Mit Analyse-Plug-ins werden Aggregationen durchgeführt, z. B. das Zusammenführen von Daten aus verschiedenen Quellen sowie das Ausführen von Analysen und Vorgängen für maschinelles Lernen.

Senken

Mit Sink-Plug-ins werden Daten in Ressourcen wie Cloud Storage, BigQuery, Cloud Spanner, relationale Datenbanken, Dateisysteme und Mainframes geschrieben. Sie können die Daten, die in die Senke geschrieben werden, über die Weboberfläche oder die REST API von Cloud Data Fusion abfragen.

Bedingungen und Aktionen

Mit Bedingungs- und Aktions-Plug-ins können Sie Aktionen planen, die während eines Workflows ausgeführt werden, aber keine direkten Änderungen an den Daten im Workflow vornehmen. Beispiel:

  • Mit dem Datenbank-Plug-in können Sie planen, dass ein Datenbankbefehl am Ende Ihrer Pipeline ausgeführt wird.
  • Mit dem File Move-Plug-in können Sie eine Aktion auslösen, mit der Dateien in Cloud Storage verschoben werden.

Fehler-Handler und Benachrichtigungen

Wenn in Phasen Nullwerte, logische Fehler oder andere Fehlerquellen auftreten, können Sie ein Fehler-Handler-Plug-in verwenden, um Fehler abzufangen. Mit diesen Plug-ins können Sie nach einem Transformations- oder Analyse-Plug-in Fehler in der Ausgabe finden. Sie können die Fehler zur Analyse in eine Datenbank schreiben.

Nächste Schritte