Mit Cloud Data Fusion-Makros, -Einstellungen und -Laufzeitargumenten können Sie Pipelines dynamisch parametrisieren und wiederverwendbare Vorlagen erstellen. Sie können hierarchische Standardeinstellungen für Ihre Umgebungen festlegen und Konfigurationswerte überschreiben, wenn Sie eine Pipeline in der Vorschau ansehen oder ausführen.
Wichtige Begriffe
- Makros
- Makros sind Platzhalter in Cloud Data Fusion-Plug-in-Konfigurationen. Sie werden durch Variablen dargestellt, die in
${ }eingeschlossen sind, z. B.${input_file_path}. Makros machen Ihre Pipelines flexibler, da Sie Platzhalterwerte verwenden können, die zur Laufzeit durch tatsächliche Werte ersetzt werden. Dies ermöglicht die dynamische Konfiguration von Parametern wie Dateipfaden und Tabellennamen. - Einstellungen
- -Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Ebenen in Cloud Data Fusion angewendet werden, einschließlich des Systems selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelner Programme in Pipelines. Mit Einstellungen können Sie Standardwerte für häufig verwendete Konfigurationen festlegen. Die Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wodurch sich wiederholende Konfigurationsaufgaben reduzieren.
- Laufzeitargumente
- Laufzeitargumente sind Schlüssel/Wert-Paare, die Werte für Makros bereitstellen und möglicherweise Einstellungen überschreiben, wenn Sie eine Pipeline bereitstellen oder ausführen. Sie sind hochgradig anpassbar, sodass Sie die Konfigurationen für jeden Pipeline-Ausführung anpassen können, ohne die zugrunde liegende Pipeline oder die Einstellungen zu ändern.
Makros einrichten
So verwenden Sie ein Makro für den Wert eines Plug-in-Attributs:
- Rufen Sie in Cloud Data Fusion Studio den Plug-in-Knoten auf und klicken Sie auf „Properties“ (Eigenschaften).
- Gehen Sie zu dem Feld, in dem Sie ein Makro verwenden möchten, und klicken Sie neben dem Feld auf M.
- Geben Sie einen Schlüssel für das Makro ein. Geben Sie beispielsweise in den Plug-in-Eigenschaften der Dateiquelle den folgenden Schlüssel in das Feld „Format“ ein:
${format.type}.
Makrowerte festlegen
Legen Sie Werte für Makros fest, bevor Sie eine Vorschau der Daten für eine Pipeline aufrufen und bevor Sie eine Pipeline ausführen. Sie können Makrowerte an den folgenden Stellen festlegen:
- Argument Setter-Plug-ins
- Laufzeitargumente
- Anwendungseinstellungen
- Namespace-Einstellungen
- Systemeinstellungen
Beim Ausführen einer Pipeline mit Makros geschieht Folgendes:
- Cloud Data Fusion prüft zuerst, ob die Pipeline ein Argument-Setter-Plug-in enthält:
- Wenn ein Argument-Setter vorhanden ist, verwendet Cloud Data Fusion die Werte für Makros daraus.
- Wenn kein Argument-Setter vorhanden ist oder wenn es Makros gibt, die im Argument-Setter nicht zugewiesen sind, verwendet Cloud Data Fusion stattdessen die Werte in den Laufzeitargumenten der Pipeline.
- Laufzeitargumente übernehmen Makros aus den Anwendungseinstellungen.
- Anwendungseinstellungen übernehmen Makros aus Namespace-Einstellungen
- Namespace-Einstellungen übernehmen Makros aus den Systemeinstellungen.
Beispiele
Makros werden häufig in Pfadfeldern verwendet. Anstatt hartcodierte Pfade zu verwenden, können Sie dynamische Pfade verwenden. In einem Cloud Storage-Quell-Plug-in können Sie beispielsweise den Pfadwert durch mehrere Makros ersetzen. Der folgende Wert trennt die Bucket-, Ordner- und Dateielemente: gs://${bucket.name}/${folder}/${file.name}.
Im folgenden Beispiel werden Daten aus einem statischen Bucket und einer Datei mit einem nicht statischen Namen geladen. Geben Sie den Namen des Buckets ein und verwenden Sie ein Makro für den Dateinamen: gs://<BUCKET_NAME>/${folder}/${file.name}.
Weitere Informationen finden Sie unter Makros und Makrofunktionen.
Einstellungen festlegen
Im folgenden Abschnitt wird die Hierarchie der Einstellungen beschrieben, in der Einstellungen festgelegt, übernommen oder überschrieben werden.
Systemeinstellungen festlegen
Sie können Einstellungen für das System festlegen. Da Makronamen eindeutig sein müssen, gilt jede Einstellung für alle Pipelines, die dieses Makro verwenden.
Angenommen, Sie haben eine Pipeline mit einer Datenbankquelle und verwenden Makros für den Datenbanknamen und den Nutzernamen. Sie können die Einstellungen für Datenbank und Nutzernamen in den Systemeinstellungen festlegen. Jeder Namespace und jede Pipeline in dieser Instanz übernimmt diese Einstellungen.
So legen Sie die Systemeinstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Systemeinstellungen > Systemeinstellungen bearbeiten.
- Geben Sie im Dialogfeld Einstellungen neue Einstellungen ein oder bearbeiten Sie vorhandene Einstellungen.
- Klicken Sie auf Speichern & schließen. Diese Einstellungen sind in allen Namespaces, Anwendungen und Pipelines verfügbar.
Namespace-Einstellungen festlegen
Sie können Einstellungen für einzelne Namespaces festlegen.
Wenn Sie Namespace-Einstellungen festlegen, werden alle übernommenen Systemeinstellungen angezeigt. Wenn Sie Einstellungen für einen Namespace festlegen, können Sie übernommene Einstellungen überschreiben, indem Sie andere Werte festlegen. Sie können auch neue Namespace-Einstellungen hinzufügen.
So legen Sie Namespace-Einstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Namespaces und wählen Sie einen Namespace aus, um die zugehörige Konfigurationsseite zu öffnen.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue Einstellungen hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Dort können Sie eine neue Einstellung eingeben oder übernommene Systemeinstellungen überschreiben. Klicken Sie auf Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein.
- Klicken Sie auf Speichern & schließen. Die Namespace-Einstellung wird mit dem neuen Wert erstellt, der Vorrang vor der Systemeinstellung hat.
Anwendungseinstellungen festlegen
Sie können Einstellungen für jede bereitgestellte Pipeline in einem Namespace festlegen. Wenn Sie Anwendungseinstellungen festlegen, werden alle übernommenen System- und Namespace-Einstellungen angezeigt. Wenn Sie Einstellungen für eine Anwendung festlegen, können Sie übernommene Einstellungen überschreiben, indem Sie andere Werte festlegen, oder neue Einstellungen für die Anwendung hinzufügen:
- Klicken Sie in Cloud Data Fusion Studio auf und dann auf das Menü Namespace, um den Namespace auszuwählen, in dem Sie Anwendungseinstellungen hinzufügen möchten.
- Klicken Sie auf Kontrollzentrum.
- Klicken Sie auf das Schraubenschlüsselsymbol Einstellungen festlegen. Eine Liste aller übernommenen Einstellungen wird angezeigt.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue Einstellungen hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Dort können Sie eine neue Einstellung eingeben oder übernommene Systemeinstellungen überschreiben. Klicken Sie auf Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein.
- Klicken Sie auf Speichern & schließen. Die Anwendungseinstellung wird mit dem neuen Wert erstellt, der die System- oder Namespace-Einstellungen überschreibt. Wenn Sie die bereitgestellte Pipeline ausführen, werden die Anwendungseinstellungen als Laufzeitargumente angezeigt, die Sie optional bearbeiten können.
Laufzeitargumente einrichten
Richten Sie Laufzeitargumente ein, um Werte für Makros bereitzustellen und möglicherweise Einstellungen zu überschreiben, wenn Sie eine Pipeline bereitstellen oder ausführen.
Laufzeitargumente für die Vorschau von Daten
Wenn Sie die Werte für jedes Makro in der Pipeline festlegen möchten, während Sie eine Vorschau der Daten in Cloud Data Fusion Studio aufrufen, klicken Sie auf Liste > Konfigurieren.
Laufzeitargumente für die Ausführung bereitgestellter Pipelines
Wenn eine Pipeline Makros enthält, fügen Sie nach dem Bereitstellen einer Pipeline Laufzeitargumente hinzu, mit denen die Werte für die Makros festgelegt werden.
Wenn Sie eine Pipeline mit Makros bereitstellen, klicken Sie auf das Drop-down-Menü neben Ausführen, um das Dialogfeld Laufzeitargumente zu öffnen und die Werte für jedes Makro festzulegen.
Pipeline-Einstellungen festlegen
So legen Sie Einstellungen für eine Pipeline fest:
- Klicken Sie in Cloud Data Fusion Studio auf Liste > Bereitgestellt und wählen Sie eine bereitgestellte Pipeline aus, um sie anzusehen.
- Klicken Sie im Pipeline-Canvas auf das Drop-down-Menü neben Ausführen. Das Dialogfeld Laufzeitargumente wird geöffnet.
- Geben Sie im Dialogfeld Laufzeitargumente, das sich öffnet, den Wert für jedes Makro in der Pipeline an.
Übersicht über Einstellungen, Makros und Laufzeitargumente
Sie können Einstellungen auf den folgenden Ebenen einrichten:
- Systemeinstellungen: Die höchste Ebene, auf der Sie Einstellungen wie Standardwerte für die gesamte Instanz festlegen.
- Namespace-Einstellungen: Übernimmt Einstellungen aus den Systemeinstellungen. Sie können Einstellungen für einen bestimmten Namespace festlegen.
- Anwendungseinstellungen: Übernimmt die Einstellungen von den Namespace-Einstellungen. Sie können für einzelne Anwendungen (mit Pipelines) eindeutig sein.
- Laufzeitargumente: Schlüssel/Wert-Paare, die Einstellungen auf höheren Ebenen überschreiben.
Wenn Sie eine Einstellung auf der Ebene der Systemeinstellungen festlegen, werden die Makrowerte automatisch in die Namespace-Einstellungen, Anwendungseinstellungen und Laufzeitargumente eingefügt.
Wenn Sie Einstellungen auf Namespace-Ebene festlegen, werden sie in der Liste der übernommenen Einstellungen in den Einstellungen der Anwendung angezeigt. Wenn eine Pipeline ein Makro verwendet, das in einer Einstellung definiert ist, verwenden die Laufzeitargumente das in der Einstellung definierte Schlüssel/Wert-Paar. Sie können die Werte für Einstellungen auf jeder Einstellungsebene und in Laufzeitargumenten überschreiben.
Verwenden Sie Einstellungen, Makros und Laufzeitargumente für die folgenden Anwendungsfälle:
- Pipeline entwickeln Betten Sie Makros ein, wenn Sie dynamische Werte für Plug-in-Attribute benötigen.
- Optional: Einstellungen festlegen. Legen Sie Standardwerte für die Makros in den Einstellungen auf verschiedenen Ebenen fest.
- Pipeline bereitstellen und ausführen Wenn Sie eine Pipeline ausführen, geschieht Folgendes:
- Es werden die Einstellungen für die entsprechende Ebene angewendet, z. B. Systemeinstellungen oder Namespace-Einstellungen.
- Alle von Ihnen angegebenen Laufzeitargumente überschreiben die Werte, die den Makros in den Einstellungen zugewiesen sind.
- Cloud Data Fusion löst die Makros auf, indem die Werte aus den Laufzeitargumenten (oder Einstellungen, wenn kein Laufzeitargument angegeben ist) ersetzt werden.
Beispiel
Eine Pipeline hat eine BigQuery-Senke mit einem Tabellennamenwert, der sich dynamisch ändern muss. So richten Sie die Funktion ein:
- Legen Sie das Makro fest. Verwenden Sie in den Eigenschaften der Senke das folgende Makro im Feld Tabellenname:
${output_table}. - Legen Sie die Einstellung fest. Legen Sie in den Anwendungseinstellungen eine Einstellung für
${output_table}mit dem folgenden Standardwert fest:data_staging. - Legen Sie das Laufzeitargument fest. Geben Sie beim Ausführen der Pipeline ein Laufzeitargument an, z. B.
output_table=final_analytics_data.
Während der Pipelineausführung wird das Makro ${output_table}, durch final_analytics_data ersetzt.