Versionsupgrades für Instanzen und Pipelines verwalten

Auf dieser Seite wird beschrieben, wie Sie die Version Ihrer Instanzen oder Batchpipelines aktualisieren.

Führen Sie ein Upgrade Ihrer Cloud Data Fusion-Instanzen und Batch-Pipelines auf die neuesten Plattform- und Plug-in-Versionen durch, um die neuesten Funktionen, Fehlerkorrekturen und Leistungsverbesserungen zu nutzen.

Hinweis

  • Planen Sie eine planmäßige Ausfallzeit für das Upgrade. Der Vorgang kann bis zu einer Stunde dauern.

  • Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

Beschränkungen

  • Nachdem Sie eine Cloud Data Fusion-Instanz erstellt haben, können Sie ihre Edition nicht mehr ändern, auch nicht durch ein Upgrade.

  • Lösen Sie kein Upgrade mit Terraform aus, da die Instanz dadurch gelöscht und neu erstellt wird, anstatt ein direktes Upgrade durchzuführen. Dieses Problem führt zum Verlust aller vorhandenen Daten in der Instanz.

  • Cloud Data Fusion startet Pipelines, die aufgrund des Upgradevorgangs beendet werden, nicht neu.

  • Wenn Sie ein Upgrade einer Instanz von Versionen vor 6.11.0 durchführen, ist mit einer längeren Ausfallzeit zu rechnen, insbesondere wenn die Instanz viele Daten verarbeitet.

  • Das Aktualisieren von Echtzeitpipelines wird nicht unterstützt, außer bei Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden. Eine Problemumgehung finden Sie unter Echtzeit-Pipelines aktualisieren.

Cloud Data Fusion-Instanzen aktualisieren

Wenn Sie eine Cloud Data Fusion-Instanz auf eine neue Cloud Data Fusion-Version aktualisieren möchten, rufen Sie die Seite Instanzdetails auf:

  1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

  2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

    Zur Seite „VM-Instanzen“

Führen Sie dann das Upgrade entweder über die Google Cloud Console oder die gcloud CLI aus:

Console

  1. Klicken Sie auf Upgrade, um eine Liste der verfügbaren Versionen aufzurufen.

  2. Version auswählen

  3. Klicken Sie auf Upgrade.

  4. Prüfen Sie, ob das Upgrade erfolgreich war:

    1. Aktualisieren Sie die Seite Instanzdetails.

    2. Klicken Sie auf Instanz ansehen, um in der Weboberfläche von Cloud Data Fusion auf die aktualisierte Instanz zuzugreifen.

    3. Klicken Sie in der Menüleiste auf Systemadministrator.

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  5. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie in der neuen Version ausführen, weisen Sie die erforderlichen Rollen in Ihrer aktualisierten Instanz zu.

gcloud

  1. Wenn Sie ein Upgrade auf eine neue Cloud Data Fusion-Version durchführen möchten, führen Sie den folgenden gcloud CLI-Befehl in einem lokalen Terminal oder einer Cloud Shell-Sitzung aus:

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. So prüfen Sie, ob das Upgrade erfolgreich war:

    1. Rufen Sie in der Google Cloud Console die Seite Cloud Data Fusion-Seite Instanzen auf.

    2. Klicken Sie auf Instanz ansehen, um in der Weboberfläche von Cloud Data Fusion auf die aktualisierte Instanz zuzugreifen.

    3. Klicken Sie in der Menüleiste auf Systemadministrator.

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  3. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie in der neuen Version ausführen, weisen Sie die erforderlichen Rollen in Ihrer aktualisierten Instanz zu.

Batch-Pipelines aktualisieren

So aktualisieren Sie Ihre Cloud Data Fusion-Batchpipelines auf die neuesten Plug-in-Versionen:

  1. Umgebungsvariablen festlegen

  2. Empfehlung:Sichern Sie alle Pipelines. Sie haben zwei Möglichkeiten, Pipelines zu sichern:

    • So laden Sie die ZIP-Datei herunter:

      1. Sichern Sie alle Pipelines mit dem folgenden Befehl, um einen ZIP-Datei-Download auszulösen:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Kopieren Sie die URL-Ausgabe in Ihren Browser.
      2. Entpacken Sie die heruntergeladene Datei und prüfen Sie, ob alle Pipelines exportiert wurden. Die Pipelines sind nach Namespace organisiert.

    • Sichern Sie Pipelines mit Source Control Management (SCM), das ab Version 6.9 verfügbar ist. SCM bietet eine GitHub-Integration, mit der Sie Pipelines sichern können.

  3. So führen Sie ein Upgrade für Pipelines durch:

    1. Erstellen Sie eine Variable, die auf die pipeline_upgrade.json-Datei verweist, die Sie im nächsten Schritt erstellen, um eine Liste von Pipelines zu speichern.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Ersetzen Sie PATH durch den Pfad zur Datei.

    2. Erstellen Sie mit dem folgenden Befehl eine Liste aller Pipelines für eine Instanz und einen Namespace. Das Ergebnis wird in der Datei $PIPELINE_LIST im Format JSON gespeichert. Sie können die Liste bearbeiten, um Pipelines zu entfernen, die kein Upgrade benötigen.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Ersetzen Sie NAMESPACE_ID durch den Namespace, in dem das Upgrade erfolgen soll.

    3. Upgrade für die in pipeline_upgrade.json aufgeführten Pipelines ausführen Fügen Sie die NAMESPACE_ID der Pipelines ein, die aktualisiert werden sollen. Der Befehl zeigt eine Liste der aktualisierten Pipelines mit dem Upgradestatus an.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Ersetzen Sie NAMESPACE_ID durch die Namespace-ID der Pipelines, die aktualisiert werden.

  4. Damit Ihre Pipelines in der neuen Version nicht hängen bleiben, weisen Sie in Ihrer aktualisierten Instanz die erforderlichen Rollen zu.

Echtzeit-Pipelines aktualisieren

Das Aktualisieren von Echtzeitpipelines wird nicht unterstützt, außer bei Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden.

Für alles andere gehen Sie stattdessen so vor:

  1. Beenden Sie die Pipelines und exportieren Sie sie.
  2. Führen Sie ein Upgrade der Instanz durch.
  3. Importieren Sie die Echtzeit-Pipelines in Ihre aktualisierte Instanz.

Upgrade zur Aktivierung der Replikation

Die Replikation kann in Cloud Data Fusion-Umgebungen ab Version 6.3.0 aktiviert werden. Wenn Sie Version 6.2.3 haben, führen Sie zuerst ein Upgrade auf Version 6.3.0 und dann auf die aktuelle Version durch. Anschließend können Sie die Replikation aktivieren.

Rollen für aktualisierte Instanzen zuweisen

Nach Abschluss des Upgrades weisen Sie dem Managed Service for Apache Spark-Dienstkonto in Ihrem Projekt die Cloud Data Fusion Runner-Rolle (roles/datafusion.runner) und die Cloud Storage-Administratorrolle (roles/storage.admin) zu.

Nächste Schritte