Pipeline-Konfigurationen verwalten

Auf dieser Seite werden Möglichkeiten zum Verwalten von Konfigurationen für bereitgestellte Pipelines beschrieben.

Hinweis

Für diese Seite sind einige Hintergrundkenntnisse zu Compute-Profilen und zur Pipelineleistung erforderlich.

Compute-Profil konfigurieren

Sie können das Compute-Profil ändern oder die Parameter des Standard-Compute-Profils anpassen, mit dem die Pipeline ausgeführt wird. Weitere Informationen finden Sie unter Compute-Profile verwalten und Eigenschaften des Managed Service for Apache Spark-Bereitstellers.

Pipelinekonfiguration

Für jede Pipeline können Sie die Instrumentierung aktivieren oder deaktivieren, z. B. Zeitmessungen. Standardmäßig ist die Instrumentierung aktiviert. Wenn die Instrumentierung aktiviert ist, generiert Cloud Data Fusion bei der Ausführung der Pipeline Messwerte für jeden Pipelineknoten. Die folgenden Messwerte werden auf dem Tab Messwerte der einzelnen Knoten angezeigt. Die Messwerte für Quelle, Transformation und Senke variieren leicht.

  • Ausgehende Datensätze
  • Eingehende Datensätze
  • Gesamtzahl der Fehler
  • Ausgehende Datensätze pro Sekunde
  • Minimale Verarbeitungszeit (ein Datensatz)
  • Maximale Verarbeitungszeit (ein Datensatz)
  • Standardabweichung
  • Durchschnittliche Verarbeitungszeit

Wir empfehlen, die Instrumentierung immer zu aktivieren, es sei denn, die Umgebung hat nur wenige Ressourcen.

Bei Streamingpipelines können Sie auch das Batchintervall (Sekunden/Minuten) für Streamingdaten festlegen.

Engine-Konfiguration

Apache Spark ist die Standard-Ausführungs-Engine. Sie können benutzerdefinierte Parameter für Spark übergeben. Weitere Informationen finden Sie unter Parallele Verarbeitung.

Ressourcen

Sie können den Arbeitsspeicher und die Anzahl der CPUs für den Spark-Treiber und -Executor angeben. Der Treiber orchestriert den Spark-Job. Der Executor verarbeitet die Daten in Spark. Weitere Informationen finden Sie unter Ressourcenverwaltung.

Pipelinebenachrichtigung

Sie können die Pipeline so konfigurieren, dass nach Abschluss der Pipelineausführung Benachrichtigungen gesendet und Aufgaben zur Nachbearbeitung gestartet werden. Pipelinebenachrichtigungen werden beim Entwerfen der Pipeline erstellt. Nachdem Sie die Pipeline bereitgestellt haben, können Sie die Benachrichtigungen ansehen. Sie können die Pipeline bearbeiten, um die Benachrichtigungseinstellungen zu ändern. Weitere Informationen finden Sie unter Benachrichtigungen erstellen.

Transformations-Push-down

Sie können den Transformations-Push-down aktivieren, wenn bestimmte Transformationen einer Pipeline in BigQuery ausgeführt werden sollen. Weitere Informationen finden Sie unter siehe die Übersicht zum Transformations-Push-down.

Nächste Schritte