Cloud Data Fusion – Übersicht

Mit Cloud Data Fusion können Sie Datenpipelines in einem vollständig verwalteten, cloudnativen Dienst zur Datenintegration erstellen und orchestrieren, der auf dem Open-Source Projekt CDAP basiert. Über die Cloud Data Fusion-Weboberfläche können Sie eine Verbindung zu Datenquellen herstellen, Daten transformieren und sie in Zielsysteme übertragen, ohne die Infrastruktur verwalten zu müssen.

Erste Schritte mit Cloud Data Fusion

Sie können Cloud Data Fusion in wenigen Minuten kennenlernen.

Cloud Data Fusion kennenlernen

Die Hauptkomponenten von Cloud Data Fusion werden in den folgenden Abschnitten erläutert.

Mandantenprojekt

Die für das Erstellen und Orchestrieren von Cloud Data Fusion Pipelines und das Speichern von Pipeline-Metadaten erforderlichen Dienste werden in einem Mandanten Projekt innerhalb einer Mandanten Einheit bereitgestellt. Für jedes Kundenprojekt wird ein separates Mandantenprojekt erstellt, in dem Cloud Data Fusion-Instanzen bereitgestellt werden. Das Mandantenprojekt erbt alle Netzwerk- und Firewallkonfigurationen aus dem Kundenprojekt.

Cloud Data Fusion: Console

Die Cloud Data Fusion Console, auch Steuerungsebene genannt, besteht aus einer Reihe von API-Vorgängen und einer Weboberfläche, die sich mit der Cloud Data Fusion-Instanz selbst befassen, z. B. mit dem Erstellen, Löschen, Neustarten und Aktualisieren.

Cloud Data Fusion: Studio

Cloud Data Fusion Studio, auch als Datenebene bezeichnet, ist eine Reihe von REST API- und Weboberflächenvorgängen, die sich mit dem Erstellen, Ausführen und Verwalten von Pipelines und zugehörigen Artefakten befassen.

Konzepte

In diesem Abschnitt werden einige der wichtigsten Konzepte von Cloud Data Fusion vorgestellt.

Konzept Beschreibung
Cloud Data Fusion-Instanz
  • Eine Cloud Data Fusion-Instanz ist eine eindeutige Bereitstellung von Cloud Data Fusion. Um mit Cloud Data Fusion zu beginnen, erstellen Sie über die Google Cloud Console eine Cloud Data Fusion-Instanz.
  • Sie können mehrere Instanzen in einem einzigen Google Cloud Console- Projekt erstellen und die Google Cloud Region angeben, in der Ihre Cloud Data Fusion-Instanzen erstellt werden sollen.
  • Je nach Ihren Anforderungen und Kostenbeschränkungen können Sie eine Developer-, Basic- oder Enterprise Instanz erstellen.
  • Jede Cloud Data Fusion-Instanz enthält eine eindeutige, unabhängige Cloud Data Fusion-Bereitstellung mit einer Reihe von Diensten, die das Lebenszyklusmanagement, die Orchestrierung, Koordination und Metadatenverwaltung von Pipelines übernehmen. Diese Dienste werden mit zeitaufwendigen Ressourcen in einem Mandantenprojekt ausgeführt.
Namespace Ein Namespace ist eine logische Gruppierung von Anwendungen, Daten und den zugehörigen Metadaten in einer Cloud Data Fusion-Instanz. Sie können sich Namespaces als Partitionierung der Instanz vorstellen. In einer einzelnen Instanz werden die Daten und Metadaten einer Entität in einem Namespace unabhängig von einem anderen Namespace gespeichert.
Pipeline
  • Eine Pipeline ist eine Möglichkeit, Daten- und Kontroll flüsse visuell zu gestalten, um Daten aus verschiedenen lokalen und Cloud-Datenquellen zu extrahieren, zu transformieren, zusammenzuführen, zu aggregieren und zu laden.
  • Mit dem Erstellen von Pipelines können Sie komplexe Datenverarbeitungs Workflows erstellen, mit denen Sie Probleme bei der Datenaufnahme, -integration und -migration lösen können. Je nach Bedarf können Sie mit Cloud Data Fusion sowohl Batch- als auch Echtzeitpipelines erstellen.
  • Mit Pipelines können Sie Ihre Datenverarbeitungs-Workflows mithilfe des logischen Datenflusses ausdrücken, während Cloud Data Fusion alle Funktionen übernimmt, die für die physische Ausführung in einer Ausführungsumgebung erforderlich sind.
Link zum Pipelineknoten
  • Auf der Seite „Studio“ der Cloud Data Fusion-Weboberfläche werden Pipelines als eine Reihe von Knoten dargestellt, die in einem gerichteten azyklischen Graphen (Directed Acyclic Graph, DAG) angeordnet sind und einen unidirektionalen Fluss bilden.
  • Knoten stellen die verschiedenen Aktionen dar, die Sie mit Ihren Pipelines ausführen können, z. B. das Lesen aus Quellen, das Ausführen von Daten Transformationen und das Schreiben der Ausgabe in Senken. Sie können Daten pipelines in der Cloud Data Fusion-Weboberfläche entwickeln, indem Sie Quellen, Transformationen, Senken und andere Knoten miteinander verbinden.
Plug-in
  • Ein Plug-in ist ein anpassbares Modul, mit dem die Funktionen von Cloud Data Fusion erweitert werden können.
  • Cloud Data Fusion bietet Plug-ins für Quellen, Transformationen, Aggregationen, Senken, Fehlererfassung, Benachrichtigungsveröffentlichung, Aktionen und Aktionen nach der Ausführung.
  • Ein Plug-in wird manchmal auch als Knoten bezeichnet, in der Regel im Kontext der Cloud Data Fusion-Weboberfläche.
  • Informationen zum Auffinden und Zugreifen auf die beliebten Cloud Data Fusion-Plug-ins finden Sie unter Cloud Data Fusion-Plug-ins.
Hub Klicken Sie in der Cloud Data Fusion-Weboberfläche auf Hub , um nach Plug-ins, Beispiel pipelines und anderen Integrationen zu suchen. Wenn eine neue Version eines Plug-ins veröffentlicht wird, ist sie in allen kompatiblen Instanzen im Hub sichtbar. Das gilt auch dann, wenn die Instanz vor der Veröffentlichung des Plug-ins erstellt wurde.
Link zur Pipelinevorschau
  • Mit Cloud Data Fusion Studio können Sie die Genauigkeit des Pipeline-Designs mit der Vorschau für eine Teilmenge der Daten testen.
  • Eine Pipeline in der Vorschau wird im Mandantenprojekt ausgeführt.
Link zur Pipelineausführung
  • Cloud Data Fusion erstellt sitzungsspezifische Ausführungsumgebungen zum Ausführen von Pipelines.
  • Cloud Data Fusion unterstützt Managed Service for Apache Spark als Ausführungsumgebung.
  • Cloud Data Fusion stellt zu Beginn einer Pipelineausführung einen sitzungsspezifischen Managed Service for Apache Spark-Cluster in Ihrem Kundenprojekt bereit, führt die Pipeline mit Spark im Cluster aus und löscht den Cluster nach Abschluss der Pipelineausführung.
  • Alternativ können Sie Cloud Data Fusion auch so konfigurieren, dass keine Cluster bereitgestellt werden, wenn Sie Ihre Managed Service for Apache Spark-Cluster in kontrollierten Umgebungen mit Technologien wie Terraform verwalten. In diesen Umgebungen können Sie Pipelines für vorhandene Managed Service for Apache Spark-Cluster ausführen.
Link zum Rechenprofil
  • Ein Rechenprofil gibt an, wie und wo eine Pipeline ausgeführt wird. Ein Profil enthält alle Informationen, die zum Einrichten und Löschen der physischen Ausführungsumgebung einer Pipeline erforderlich sind.
  • Ein Rechenprofil enthält beispielsweise Folgendes:
    • Ausführungsbereitsteller
    • Ressourcen (Arbeitsspeicher und CPU)
    • Minimale und maximale Knotenanzahl
    • Andere Werte
  • Ein Profil wird durch einen Namen identifiziert und muss einem Bereitsteller und seiner zugehörigen Konfiguration zugewiesen werden. Ein Profil kann entweder auf der Cloud Data Fusion-Instanzebene oder auf der Namespace-Ebene vorhanden sein.
  • Das standardmäßige Cloud Data Fusion-Rechenprofil ist Autoscaling.
Link zur wiederverwendbaren Pipeline
  • Mit wiederverwendbaren Datenpipelines in Cloud Data Fusion kann eine einzelne Pipeline erstellt werden, mit der ein Datenintegrationsmuster auf eine Vielzahl von Anwendungsfällen und Datasets angewendet werden kann.
  • Wiederverwendbare Pipelines bieten eine bessere Verwaltbarkeit, da die meisten Konfigurationen einer Pipeline zur Ausführungszeit festgelegt werden, anstatt sie zur Entwurfszeit hartcodiert zu haben.
Trigger
  • Cloud Data Fusion unterstützt das Erstellen eines Triggers für eine Daten pipeline (die Downstream-Pipeline), damit sie nach Abschluss einer oder mehrerer anderer Pipelines (die Upstream Pipelines) ausgeführt wird. Sie wählen aus, wann die Downstream-Pipeline ausgeführt werden soll, z. B. nach Erfolg, Fehler, Beendigung oder einer beliebigen Kombination davon, der Upstream-Pipeline.
  • Trigger sind in den folgenden Fällen nützlich:
    • Sie können Ihre Daten einmal bereinigen und sie dann für mehrere Downstream-Pipelines zur Verfügung stellen.
    • Sie können Informationen wie Laufzeitargumente und Plug-in Konfigurationen zwischen Pipelines austauschen. Dies wird als Nutzlast Konfiguration bezeichnet.
    • Sie können eine Reihe dynamischer Pipelines verwenden, die mit den Daten der Stunde, des Tages, der Woche oder des Monats ausgeführt werden können, anstatt eine statische Pipeline zu verwenden, die bei jeder Ausführung aktualisiert werden muss.

Cloud Data Fusion-Ressourcen

Weitere Informationen zu Cloud Data Fusion-Ressourcen:

Nächste Schritte