Einführung in Cloud Data Fusion Studio

Cloud Data Fusion: Mit Studio können Sie Datenpipelines visuell erstellen, konfigurieren und ausführen. Dazu verwenden Sie eine Drag-and-drop-Oberfläche mit vorgefertigten Plug-ins. Sie können eine Verbindung zu lokalen und Cloud-Datenquellen herstellen, Ihre Daten vorbereiten und transformieren sowie Lieferungen an Ihre Zielorte testen oder planen.

Nach der Bereitstellung unterstützt Sie Studio beim Verwalten des Pipelinelebenszyklus durch iterative Bearbeitung, Git-Quellcodeverwaltung sowie wiederverwendbare Laufzeitparameter und -einstellungen. Sie können auch Compute-Profile anpassen, Ausführungsressourcen zuweisen, um die Leistung zu optimieren, und Konfigurationen zentral verwalten.

User Journey in Cloud Data Fusion Studio

Hinweis

Cloud Data Fusion: Studio – Übersicht

Studio umfasst die folgenden Komponenten.

Verwaltung

In Cloud Data Fusion können Sie in jeder Instanz mehrere Namespaces verwenden. Im Studio können Administratoren alle Namespaces zentral oder jeden Namespace einzeln verwalten.

Studio bietet die folgenden Administratorsteuerungen:

Systemverwaltung
Mit dem Modul System Admin (Systemadministrator) im Studio können Sie neue Namespaces erstellen und die zentralen Compute-Profil-Konfigurationen auf Systemebene definieren, die für jeden Namespace in dieser Instanz gelten. Weitere Informationen finden Sie unter Studio-Verwaltung verwalten.
Namespace-Verwaltung
Mit dem Modul Namespace Admin (Namespace-Administrator) im Studio können Sie die Konfigurationen für den jeweiligen Namespace verwalten. Für jeden Namespace können Sie Compute-Profile, Laufzeiteinstellungen, Treiber, Dienstkonten und Git-Konfigurationen definieren. Weitere Informationen finden Sie unter Studio-Verwaltung verwalten.

Pipeline Design Studio

Sie entwerfen und führen Pipelines im Pipeline Design Studio in der Cloud Data Fusion-Weboberfläche aus. Das Entwerfen und Ausführen von Datenpipelines umfasst die folgenden Schritte:

  • Verbindung zu einer Quelle herstellen: Cloud Data Fusion ermöglicht Verbindungen zu lokalen und Cloud-Datenquellen. Die Studio-Oberfläche enthält Standard-System-Plug-ins, die im Studio vorinstalliert sind. Sie können zusätzliche Plug-ins aus einem Plug-in-Repository herunterladen, dem Hub. Weitere Informationen finden Sie unter Plug-ins – Übersicht.
  • Daten vorbereiten: Mit Cloud Data Fusion können Sie Ihre Daten mit dem leistungsstarken Plug-in zur Datenvorbereitung Wrangler vorbereiten. Mit Wrangler können Sie eine kleine Stichprobe Ihrer Daten an einem Ort ansehen, untersuchen und transformieren, bevor Sie die Logik im Studio auf das gesamte Dataset anwenden. So können Sie schnell Transformationen anwenden, um zu sehen, wie sie sich auf das gesamte Dataset auswirken. Sie können mehrere Transformationen erstellen und sie einem Rezept hinzufügen. Weitere Informationen finden Sie unter Wrangler – Übersicht.
  • Transformieren: Mit Transformations-Plug-ins werden Daten geändert, nachdem sie aus einer Quelle geladen wurden. Sie können beispielsweise einen Datensatz klonen, das Dateiformat in JSON ändern oder mit dem JavaScript-Plug-in eine benutzerdefinierte Transformation erstellen. Weitere Informationen finden Sie unter Plug-ins – Übersicht.
  • Verbindung zu einem Ziel herstellen: Nachdem Sie die Daten vorbereitet und Transformationen angewendet haben, können Sie eine Verbindung zum Ziel herstellen, in das Sie die Daten laden möchten. Cloud Data Fusion unterstützt Verbindungen zu mehreren Zielen. Weitere Informationen finden Sie unter Plug-ins – Übersicht.
  • Vorschau: Nachdem Sie die Pipeline entworfen haben, führen Sie einen Vorschaujob aus, um Probleme zu beheben, bevor Sie eine Pipeline bereitstellen und ausführen. Wenn Fehler auftreten, können Sie sie im Entwurfsmodus beheben. Studio verwendet die ersten 100 Zeilen Ihres Quelldatasets, um die Vorschau zu generieren. Studio zeigt den Status und die Dauer des Vorschaujobs an. Sie können den Job jederzeit beenden. Sie können auch die Logereignisse während der Ausführung des Vorschaujobs beobachten. Weitere Informationen finden Sie unter Daten in der Vorschau ansehen.

  • Pipelinekonfigurationen verwalten: Nachdem Sie sich die Daten in der Vorschau angesehen haben, können Sie die Pipeline bereitstellen und die folgenden Pipelinekonfigurationen verwalten:

    • Compute-Konfiguration: Sie können das Compute-Profil ändern, mit dem die Pipeline ausgeführt wird. Beispielsweise möchten Sie die Pipeline für einen benutzerdefinierten Managed Service for Apache Spark-Cluster anstelle des Standardclusters ausführen.
    • Pipelinekonfiguration: Für jede Pipeline können Sie die Instrumentierung aktivieren oder deaktivieren, z. B. Zeitmesswerte. Die Instrumentierung ist standardmäßig aktiviert.
    • Engine-Konfiguration: Spark ist die Standard-Ausführungs-Engine. Sie können benutzerdefinierte Parameter für Spark übergeben.
    • Ressourcen: Sie können den Arbeitsspeicher und die Anzahl der CPUs für den Spark-Treiber und -Executor angeben. Der Treiber orchestriert den Spark-Job. Der Executor verarbeitet die Daten in Spark.
    • Pipelinebenachrichtigung: Sie können die Pipeline so konfigurieren, dass Benachrichtigungen gesendet und Nachbearbeitungsaufgaben gestartet werden, nachdem die Pipelineausführung abgeschlossen ist. Sie erstellen Pipelinebenachrichtigungen, wenn Sie die Pipeline entwerfen. Nachdem Sie die Pipeline bereitgestellt haben, können Sie die Benachrichtigungen ansehen. Wenn Sie die Benachrichtigungseinstellungen ändern möchten, können Sie die Pipeline bearbeiten.
    • Transformations-Push-down: Sie können den Transformations-Push-down aktivieren, wenn bestimmte Transformationen in einer Pipeline in BigQuery ausgeführt werden sollen.

    Weitere Informationen finden Sie unter Pipelinekonfigurationen verwalten.

  • Pipelines mit Makros, Einstellungen und Laufzeitargumenten wiederverwenden: Mit Cloud Data Fusion können Sie Datenpipelines wiederverwenden. Mit wiederverwendbaren Datenpipelines können Sie eine einzelne Pipeline verwenden, mit der ein Datenintegrationsmuster auf eine Vielzahl von Anwendungsfällen und Datasets angewendet werden kann. Wiederverwendbare Pipelines sind einfacher zu verwalten. Sie können die meisten Konfigurationen einer Pipeline zur Ausführungszeit festlegen, anstatt sie zur Entwurfszeit hartcodiert festzulegen. Im Pipeline Design Studio können Sie Makros verwenden, um Plug-in-Konfigurationen Variablen hinzuzufügen, damit Sie die Variablensubstitutionen zur Laufzeit angeben können. Weitere Informationen finden Sie unter Makros, Einstellungen und Laufzeitargumente verwalten.

  • Ausführen: Nachdem Sie die Pipelinekonfigurationen überprüft haben, können Sie die Pipelineausführung starten. Sie können die Statusänderung während der Phasen der Pipelineausführung sehen, z. B. Bereitstellung, Start, Ausführung und Erfolg.

  • Planen und orchestrieren: Batch-Datenpipelines können so eingerichtet werden, dass sie nach einem bestimmten Zeitplan und in einer bestimmten Häufigkeit ausgeführt werden. Nachdem Sie eine Pipeline erstellt und bereitgestellt haben, können Sie einen Zeitplan erstellen. Im Pipeline Design Studio können Sie Pipelines orchestrieren, indem Sie einen Trigger für eine Batchdaten-Pipeline erstellen, damit sie ausgeführt wird, wenn eine oder mehrere Pipelineausführungen abgeschlossen sind. Diese werden als Downstream- und Upstream-Pipelines bezeichnet. Sie erstellen einen Trigger für die Downstream-Pipeline, damit sie basierend auf dem Abschluss einer oder mehrerer Upstream-Pipelines ausgeführt wird.

    Empfehlung: Sie können Composer auch verwenden, um Pipelines in Cloud Data Fusion zu orchestrieren. Weitere Informationen finden Sie unter Pipelines planen und Pipelines orchestrieren.

  • Pipelines bearbeiten: Mit Cloud Data Fusion können Sie eine bereitgestellte Pipeline bearbeiten. Wenn Sie eine bereitgestellte Pipeline bearbeiten, wird eine neue Version der Pipeline mit demselben Namen erstellt und als aktuelle Version markiert. So können Sie Pipelines iterativ entwickeln, anstatt sie zu duplizieren, wodurch eine neue Pipeline mit einem anderen Namen erstellt wird. Weitere Informationen finden Sie unter Pipelines bearbeiten.

  • Quellcodeverwaltung: Mit Cloud Data Fusion können Sie Pipelines zwischen Entwicklung und Produktion besser verwalten. Dazu wird die Quellcodeverwaltung der Pipelines mit GitHub verwendet.

  • Logging und Monitoring: Wenn Sie Pipelinemesswerte und -logs überwachen möchten, sollten Sie den Stackdriver Logging-Dienst aktivieren, um Cloud Logging mit Ihrer Cloud Data Fusion-Pipeline zu verwenden.

Nächste Schritte