Wenn Sie eine Pipeline in Cloud Data Fusion bereitstellen, können Sie Ihre Datenintegrationsdesigns in ausführbare Workflows umwandeln. Nach der Bereitstellung können Sie Pipelines bei Bedarf ausführen, automatisierte Zeitpläne festlegen oder eingehende Trigger konfigurieren, um die Datenausführung zu verwalten.
Pipelines implementieren
Nachdem Sie eine Datenpipeline entworfen und Fehler behoben haben und mit den Daten in der Vorschau zufrieden sind, können Sie die Pipeline bereitstellen.
Wenn Sie die Pipeline bereitstellen, erstellt Cloud Data Fusion Studio den Workflow und die entsprechenden Apache Spark-Jobs im Hintergrund.
Pipelines ausführen
Nachdem Sie eine Pipeline bereitgestellt haben, können Sie sie auf folgende Arten ausführen:
- Wenn Sie eine Pipeline bei Bedarf ausführen möchten, öffnen Sie eine bereitgestellte Pipeline und klicken Sie auf Ausführen.
- Wenn Sie die Pipeline so planen möchten, dass sie zu einer bestimmten Zeit ausgeführt wird, öffnen Sie eine bereitgestellte Pipeline und klicken Sie auf Planen.
- Wenn Sie die Pipeline auslösen möchten, wenn eine andere Pipeline abgeschlossen ist, öffnen Sie eine bereitgestellte Pipeline und klicken Sie auf Eingehende Trigger.
Im Pipeline Studio wird der Verlauf einer Pipeline bei jeder Ausführung gespeichert. Sie können zwischen verschiedenen Laufzeitversionen der Pipeline wechseln.
Wenn die Pipeline Makros enthält, legen Sie die Laufzeitargumente für jedes Makro fest. Sie können die Pipeline-Konfigurationen auch prüfen und ändern, bevor Sie die bereitgestellte Pipeline ausführen. Sie können sehen, wie sich der Status während der Phasen der Pipelineausführung ändert, z. B. Wird bereitgestellt, Wird gestartet, Wird ausgeführt und Erfolgreich. Sie können die Pipeline auch jederzeit beenden.
Wenn Sie die Instrumentierung aktivieren, können Sie die von der Pipeline generierten Messwerte untersuchen. Klicken Sie dazu auf einem beliebigen Knoten in der Pipeline, z. B. einer Quelle, Transformation oder Senke, auf Eigenschaften.
Weitere Informationen zu den Pipelineausführungen erhalten Sie, wenn Sie auf Zusammenfassung klicken.
Ausführungsdatensätze ansehen
Nach Abschluss einer Pipelineausführung können Sie sich den Ausführungsdatensatz ansehen. Standardmäßig können Sie die Ausführungseinträge der letzten 30 Tage aufrufen. Cloud Data Fusion löscht sie nach diesem Zeitraum. Sie können diesen Zeitraum mit der REST API verlängern. Wenn Sie die Aufbewahrungsdauer für Ausführungseinträge verlängern, wird die Aufbewahrungsdauer für Pipeline-Logs in Cloud Data Fusion Studio nicht verlängert. Diese beträgt standardmäßig sieben Tage.
REST API
Wenn Sie Ausführungsdatensätze länger als 30 Tage aufbewahren möchten, aktualisieren Sie die app.run.records.ttl-Optionen mit dem folgenden Befehl:
curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'
Ersetzen Sie Folgendes:
PROJECT_NAME: der Name des Google Cloud -ProjektsREGION_NAME: die Region der Cloud Data Fusion-Instanz, z. B.us-east4INSTANCE_NAME: die Cloud Data Fusion-Instanz-IDDAYS: Zeitraum in Tagen, für den Ausführungsdatensätze für alte Pipelineausführungen aufbewahrt werden sollen, z. B.30.HOURS: Häufigkeit in Stunden, mit der nach alten Ausführungseinträgen gesucht und diese gelöscht werden sollen, z. B.24.
Beispiel:
curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'