Pipelines bereitstellen und ausführen

Wenn Sie eine Pipeline in Cloud Data Fusion bereitstellen, können Sie Ihre Datenintegrationsdesigns in ausführbare Workflows umwandeln. Nach der Bereitstellung können Sie Pipelines bei Bedarf ausführen, automatisierte Zeitpläne festlegen oder eingehende Trigger konfigurieren, um die Datenausführung zu verwalten.

Pipelines implementieren

Nachdem Sie eine Datenpipeline entworfen und Fehler behoben haben und mit den Daten in der Vorschau zufrieden sind, können Sie die Pipeline bereitstellen.

Wenn Sie die Pipeline bereitstellen, erstellt Cloud Data Fusion Studio im Hintergrund den Workflow und die entsprechenden Apache Spark-Jobs.

Pipelines ausführen

Nachdem Sie eine Pipeline bereitgestellt haben, können Sie sie auf folgende Arten ausführen:

  • Wenn Sie eine Pipeline bei Bedarf ausführen möchten, öffnen Sie eine bereitgestellte Pipeline und klicken Sie auf Ausführen.
  • Wenn Sie die Pipeline zu einem bestimmten Zeitpunkt ausführen möchten, öffnen Sie eine bereitgestellte Pipeline und klicken Sie auf Zeitplan.
  • Wenn Sie die Pipeline auslösen möchten, wenn eine andere Pipeline abgeschlossen ist, öffnen Sie eine bereitgestellte Pipeline und klicken Sie auf Eingehende Trigger.

Pipeline Studio speichert den Verlauf einer Pipeline bei jeder Ausführung. Sie können zwischen verschiedenen Laufzeitversionen der Pipeline wechseln.

Wenn die Pipeline Makros enthält, legen Sie die Laufzeitargumente für jedes Makro fest. Sie können die Pipelinekonfigurationen auch überprüfen und ändern, bevor Sie die bereitgestellte Pipeline ausführen. Sie können die Statusänderung während der Phasen der Pipelineausführung sehen, z. B. Wird bereitgestellt, Wird gestartet, Wird ausgeführt und Erfolgreich. Sie können die Pipeline auch jederzeit beenden.

Wenn Sie die Instrumentierung aktivieren, können Sie die von der Pipeline generierten Messwerte aufrufen. Klicken Sie dazu auf einen beliebigen Knoten in der Pipeline, z. B. eine Quelle, eine Transformation oder ein Ziel, und dann auf Eigenschaften.

Weitere Informationen zu den Pipelineausführungen finden Sie unter Zusammenfassung.

Ausführungsdatensätze ansehen

Nach Abschluss einer Pipelineausführung können Sie den Ausführungsdatensatz ansehen. Standardmäßig können Sie die Ausführungsdatensätze der letzten 30 Tage ansehen. Cloud Data Fusion löscht sie nach diesem Zeitraum. Sie können diesen Zeitraum mit der REST API verlängern.

REST API

Wenn Sie Ausführungsdatensätze länger als 30 Tage aufbewahren möchten, aktualisieren Sie die Optionen app.run.records.ttl mit dem folgenden Befehl:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

Ersetzen Sie Folgendes:

  • PROJECT_NAME: der Google Cloud Projektname
  • REGION_NAME: die Region der Cloud Data Fusion-Instanz, z. B. us-east4
  • INSTANCE_NAME: die Cloud Data Fusion-Instanz-ID
  • DAYS: Zeitraum in Tagen, für den Ausführungsdatensätze für alte Pipelineausführungen aufbewahrt werden sollen, z. B. 30.
  • HOURS: Häufigkeit in Stunden, mit der nach alten Ausführungsdatensätzen gesucht und diese gelöscht werden sollen, z. B. 24.

Beispiel :

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

Nächste Schritte