Gestire gli upgrade delle versioni per istanze e pipeline

In questa pagina viene descritto l'upgrade della versione delle istanze o delle pipeline batch.

Esegui l'upgrade delle istanze Cloud Data Fusion e delle pipeline batch alle versioni più recenti della piattaforma e dei plug-in per usufruire delle funzionalità, delle correzioni di bug e dei miglioramenti delle prestazioni più recenti.

Prima di iniziare

  • Pianifica un tempo di riposo programmato per l'upgrade. La procedura richiede fino a un'ora.

  • Nella Google Cloud console, attiva Cloud Shell.

    Attiva Cloud Shell

Limitazioni

  • Dopo aver creato un'istanza Cloud Data Fusion, non puoi modificarne l'edizione, nemmeno tramite un'operazione di upgrade.

  • Non attivare un upgrade con Terraform, perché elimina e ricrea l'istanza, anziché eseguire un upgrade in loco. Questo problema comporta la perdita di tutti i dati esistenti all'interno dell'istanza.

  • Cloud Data Fusion non riavvia le pipeline che si arrestano a seguito dell'operazione di upgrade.

  • Quando esegui l'upgrade di un'istanza da versioni precedenti alla 6.11.0, prevedi un tempo di inattività maggiore per l'upgrade, soprattutto se l'istanza gestisce una grande quantità di dati.

  • L'upgrade delle pipeline in tempo reale non è supportato, tranne nelle pipeline create nella versione 6.8.0 con un'origine in tempo reale Kafka. Per una soluzione alternativa, consulta Eseguire l'upgrade delle pipeline in tempo reale.

Eseguire l'upgrade delle istanze Cloud Data Fusion

Per eseguire l'upgrade di un'istanza Cloud Data Fusion a una nuova versione di Cloud Data Fusion, vai alla pagina Dettagli istanza:

  1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

  2. Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.

    Vai a Istanze

Quindi esegui l'upgrade utilizzando la Google Cloud console o gcloud CLI:

Console

  1. Fai clic su Esegui l'upgrade per visualizzare un elenco delle versioni disponibili.

  2. Seleziona una versione.

  3. Fai clic su Esegui l'upgrade.

  4. Verifica che l'upgrade sia andato a buon fine:

    1. Aggiorna la pagina Dettagli istanza.

    2. Fai clic su Visualizza istanza per accedere all'istanza di cui hai eseguito l'upgrade nell'interfaccia web di Cloud Data Fusion.

    3. Fai clic su Amministratore di sistema nella barra dei menu.

      Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.

  5. Per evitare che le pipeline si blocchino quando le esegui nella nuova versione, concedi i ruoli richiesti nell'istanza di cui hai eseguito l'upgrade.

gcloud

  1. Per eseguire l'upgrade a una nuova versione di Cloud Data Fusion, esegui il seguente comando gcloud CLI da una sessione di Cloud Shell del terminale locale: Cloud Shell

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. Verifica che l'upgrade sia andato a buon fine seguendo questi passaggi:

    1. Nella Google Cloud console, vai alla pagina Istanze di Cloud Data Fusion.

    2. Fai clic su Visualizza istanza per accedere all'istanza di cui hai eseguito l'upgrade nell'interfaccia web di Cloud Data Fusion.

    3. Fai clic su Amministratore di sistema nella barra dei menu.

      Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.

  3. Per evitare che le pipeline si blocchino quando le esegui nella nuova versione, concedi i ruoli richiesti nell'istanza di cui hai eseguito l'upgrade.

Eseguire l'upgrade delle pipeline batch

Per eseguire l'upgrade delle pipeline batch di Cloud Data Fusion in modo che utilizzino le versioni più recenti dei plug-in:

  1. Imposta le variabili di ambiente.

  2. Azione consigliata: esegui il backup di tutte le pipeline. Puoi eseguire il backup delle pipeline in due modi:

    • Scarica il file ZIP seguendo questi passaggi:

      1. Per attivare il download di un file ZIP, esegui il backup di tutte le pipeline con il seguente comando:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Copia l'URL di output nel browser.
      2. Estrai il file scaricato, quindi verifica che tutte le pipeline siano state esportate. Le pipeline sono organizzate per spazio dei nomi.

    • Esegui il backup delle pipeline utilizzando Source Control Management (SCM), disponibile nella versione 6.9 e successive. SCM fornisce l'integrazione di GitHub, che puoi utilizzare per eseguire il backup delle pipeline.

  3. Esegui l'upgrade delle pipeline seguendo questi passaggi:

    1. Crea una variabile che indirizzi al file pipeline_upgrade.json che creerai nel passaggio successivo per salvare un elenco di pipeline.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Sostituisci PATH con il percorso del file.

    2. Crea un elenco di tutte le pipeline per un'istanza e uno spazio dei nomi utilizzando il seguente comando. Il risultato viene archiviato nel file $PIPELINE_LIST in formato JSON. Puoi modificare l'elenco per rimuovere le pipeline che non richiedono upgrade.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Sostituisci NAMESPACE_ID con lo spazio dei nomi in cui vuoi eseguire l' upgrade.

    3. Esegui l'upgrade delle pipeline elencate in pipeline_upgrade.json. Inserisci il NAMESPACE_ID delle pipeline di cui vuoi eseguire l'upgrade. Il comando visualizza un elenco delle pipeline di cui è stato eseguito l'upgrade con il relativo stato.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Sostituisci NAMESPACE_ID con l'ID dello spazio dei nomi delle pipeline di cui stai eseguendo l'upgrade.

  4. Per evitare che le pipeline si blocchino quando le esegui nella nuova versione, concedi i ruoli richiesti nell'istanza di cui hai eseguito l'upgrade.

Eseguire l'upgrade delle pipeline in tempo reale

L'upgrade delle pipeline in tempo reale non è supportato, tranne nelle pipeline create nella versione 6.8.0 con un'origine in tempo reale Kafka.

Per tutto il resto, esegui invece le seguenti operazioni:

  1. Arresta ed esporta le pipeline.
  2. Esegui l'upgrade dell'istanza.
  3. Importa le pipeline in tempo reale nell'istanza di cui hai eseguito l'upgrade.

Eseguire l'upgrade per abilitare la replica

La replica può essere abilitata negli ambienti Cloud Data Fusion nella versione 6.3.0 o successive. Se hai la versione 6.2.3, esegui l'upgrade alla versione 6.3.0, quindi esegui l'upgrade alla versione più recente. A questo punto, puoi abilitare la replica.

Concedere ruoli per le istanze di cui è stato eseguito l'upgrade

Al termine dell'upgrade, concedi il ruolo Esecutore di Cloud Data Fusion (roles/datafusion.runner) e il ruolo Amministratore Cloud Storage (roles/storage.admin) all'account di servizio di Managed Service for Apache Spark nel tuo progetto.

Passaggi successivi