Esegui la migrazione degli ambienti a Cloud Composer 2 (da Airflow 1)

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega come trasferire DAG, dati e configurazione dagli ambienti Cloud Composer 1 e Airflow 1 esistenti a Cloud Composer 2 e Airflow 2.

Altre guide alla migrazione

Da	A	Metodo	Guida
Cloud Composer 2	Cloud Composer 3	Affiancata, utilizzando lo script di migrazione	Guida alla migrazione degli script
Cloud Composer 2	Cloud Composer 3	Affiancate, utilizzando gli snapshot	Guida alla migrazione degli snapshot
Cloud Composer 1, Airflow 2	Cloud Composer 3	Affiancate, utilizzando gli snapshot	Guida alla migrazione degli snapshot
Cloud Composer 1, Airflow 2	Cloud Composer 2	Affiancate, utilizzando gli snapshot	Guida alla migrazione degli snapshot
Cloud Composer 1, Airflow 2	Cloud Composer 2	Trasferimento manuale affiancato	Guida alla migrazione manuale
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Affiancate, utilizzando gli snapshot	Guida alla migrazione degli snapshot
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Trasferimento manuale affiancato	Questa guida
Cloud Composer 1, Airflow 1	Cloud Composer 1, Airflow 2	Trasferimento manuale affiancato	Guida alla migrazione manuale

Prima di iniziare

• Cloud Composer supporta la migrazione affiancata da Cloud Composer 1 a Cloud Composer 2. Non è possibile eseguire l'upgrade da Cloud Composer 1 a Cloud Composer 2 sul posto.
• Consulta l'elenco delle differenze tra Cloud Composer 1 e Cloud Composer 2.

• Poiché Cloud Composer 2 utilizza Airflow 2, la migrazione include il passaggio dei DAG e della configurazione dell'ambiente ad Airflow 2. Consulta la guida alla migrazione da Airflow 1 ad Airflow 2 per informazioni sulle modifiche incompatibili tra Airflow 1 e Airflow 2 in Cloud Composer.

• In questa guida, combini la migrazione ad Airflow 2 e la migrazione a Cloud Composer 2 in un'unica procedura di migrazione. In questo modo, non devi eseguire la migrazione a un ambiente Cloud Composer 1 con Airflow 2 prima di eseguire la migrazione a Cloud Composer 2.

Passaggio 1: esegui l'upgrade ad Airflow 1.10.15

Se il tuo ambiente utilizza una versione di Airflow precedente alla 1.10.15, esegui l'upgrade dell'ambiente a una versione di Cloud Composer che utilizza Airflow 1.10.15.

Passaggio 2: controlla la compatibilità con Airflow 2

Per verificare la presenza di potenziali conflitti con Airflow 2, consulta la guida Eseguire l'upgrade ad Airflow 2.0+ nella sezione relativa all'upgrade dei DAG.

Un problema comune che potresti riscontrare riguarda i percorsi di importazione incompatibili. Per ulteriori informazioni sulla risoluzione di questo problema di compatibilità, consulta la sezione relativa ai provider di backporting nella guida all'upgrade ad Airflow 2.0+.

Passaggio 3: ottieni l'elenco degli override di configurazione, dei pacchetti PyPI personalizzati e delle variabili di ambiente

Console

Recupera l'elenco degli override della configurazione, dei pacchetti PyPI personalizzati e delle variabili di ambiente del tuo ambiente Cloud Composer 1:

1. Vai alla pagina Ambienti nella console Google Cloud :

   Vai ad Ambienti

2. Seleziona l'ambiente Cloud Composer 1.

3. Visualizza le variabili di ambiente nella scheda Variabili di ambiente.

4. Visualizza gli override della configurazione nelle schede Override della configurazione Airflow.

5. Visualizza i pacchetti PyPI personalizzati nella scheda Pacchetti PyPI.

gcloud

Per ottenere l'elenco delle variabili di ambiente, esegui:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.envVariables)"

Per ottenere l'elenco degli override della configurazione Airflow dell'ambiente, esegui:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.airflowConfigOverrides)"

Per ottenere l'elenco dei pacchetti PyPI personalizzati, esegui:

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.pypiPackages)"

Sostituisci:

• COMPOSER_1_ENV con il nome del tuo ambiente Cloud Composer 1.
• COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 1.

Terraform

Ignora questo passaggio. La configurazione del tuo ambiente Cloud Composer 1 elenca già gli override della configurazione, i pacchetti PyPI personalizzati e le variabili di ambiente per il tuo ambiente.

Passaggio 4: crea un ambiente Cloud Composer 2

In questo passaggio, crea un ambiente Cloud Composer 2. Puoi iniziare con un preset dell'ambiente che corrisponda alle richieste di risorse previste e in un secondo momento scalare e ottimizzare ulteriormente l'ambiente.

Console

Crea un ambiente Cloud Composer 2 e specifica gli override di configurazione e le variabili di ambiente.

In alternativa, puoi eseguire l'override delle configurazioni di Airflow e delle variabili di ambiente dopo aver creato un ambiente.

Alcune opzioni di configurazione di Airflow 1 utilizzano un nome e una sezione diversi in Airflow 2. Per ulteriori informazioni, vedi Modifiche alla configurazione.

gcloud

Crea un ambiente Cloud Composer 2 e specifica gli override di configurazione e le variabili di ambiente.

In alternativa, puoi eseguire l'override delle configurazioni di Airflow e delle variabili di ambiente dopo aver creato un ambiente.

Alcune opzioni di configurazione di Airflow 1 utilizzano un nome e una sezione diversi in Airflow 2. Per ulteriori informazioni, vedi Modifiche alla configurazione.

Terraform

Crea un ambiente Cloud Composer 2 in base alla configurazione dell'ambiente Cloud Composer 1:

1. Copia la configurazione dell'ambiente Cloud Composer 1.
2. Modifica il nome dell'ambiente.

3. Utilizza il provider google-beta:

   resource "google_composer_environment" "example_environment_composer_2" {
     provider = google-beta
     # ...
   }
   

4. Specifica un'immagine di Cloud Composer 2 nel blocco config.software_config:

   software_config {
     image_version = "composer-2.14.4-airflow-2.10.5"
     # ...
   }
   

5. Se non l'hai ancora fatto, specifica gli override di configurazione e le variabili di ambiente.

6. Specifica i pacchetti PyPI personalizzati nel blocco config.software_config.pypi_packages:

   software_config {
   
     # ...
   
     pypi_packages = {
       numpy = ""
       scipy = ">=1.1.0"
     }
   
   }
   

Passaggio 5: installa i pacchetti PyPI nell'ambiente Cloud Composer 2

Nota: se il tuo ambiente non utilizza pacchetti PyPI personalizzati, salta questo passaggio. I pacchetti PyPI personalizzati sono i pacchetti che installi in aggiunta a quelli preinstallati nel tuo ambiente.

Dopo aver creato l'ambiente Cloud Composer 2, installa i pacchetti PyPI personalizzati.

Console

1. Vai alla pagina Ambienti nella console Google Cloud :

   Vai ad Ambienti

2. Seleziona l'ambiente Cloud Composer 2.

3. Vai alla scheda Pacchetti PyPI e fai clic su Modifica.

4. Copia i requisiti dei pacchetti PyPI dal tuo ambiente Cloud Composer 1. Fai clic su Salva e attendi l'aggiornamento dell'ambiente.

gcloud

1. Crea un file requirements.txt con l'elenco dei pacchetti PyPI personalizzati:

     numpy
     scipy>=1.1.0
   

2. Aggiorna l'ambiente e passa il file requirements.txt nel comando :to the --update-pypi-packages-from-file:

   gcloud composer environments update COMPOSER_2_ENV \
     --location COMPOSER_2_LOCATION  \
     --update-pypi-packages-from-file requirements.txt
   

   Sostituisci:

   • COMPOSER_2_ENV con il nome del tuo ambiente Cloud Composer 2.
   • COMPOSER_2_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 2.

Terraform

Ignora questo passaggio. Hai già installato pacchetti PyPI personalizzati durante la creazione dell'ambiente.

Passaggio 6: trasferisci variabili e pool

Nota: se il tuo ambiente non utilizza variabili o pool Airflow diversi da default_pool, ignora questo passaggio.

Airflow supporta l'esportazione di variabili e pool in file JSON. Puoi quindi importare questi file nell'ambiente Cloud Composer 2.

I comandi dell'interfaccia a riga di comando di Airflow utilizzati in questo passaggio operano sui file locali nei worker di Airflow. Per caricare o scaricare i file, utilizza la cartella /data nel bucket Cloud Storage del tuo ambiente. Questa cartella viene sincronizzata con la directory /home/airflow/gcs/data/ nei worker Airflow. Nei comandi della CLI di Airflow, specifica /home/airflow/gcs/data/ nel parametro FILEPATH.

gcloud

1. Esporta le variabili dall'ambiente Cloud Composer 1:

   gcloud composer environments run \
       COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        variables -- -e /home/airflow/gcs/data/variables.json
   

   Sostituisci:

   • COMPOSER_1_ENV con il nome del tuo ambiente Cloud Composer 1.
   • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 1.

2. Esporta i pool dall'ambiente Cloud Composer 1:

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        pool -- -e /home/airflow/gcs/data/pools.json
   

   Sostituisci:

   • COMPOSER_1_ENV con il nome del tuo ambiente Cloud Composer 1.
   • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 1.

3. Recupera l'URI del bucket dell'ambiente Cloud Composer 2.

   1. Esegui questo comando:

      gcloud composer environments describe COMPOSER_2_ENV \
          --location COMPOSER_2_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Sostituisci:

      • COMPOSER_2_ENV con il nome del tuo ambiente Cloud Composer 2.
      • COMPOSER_2_LOCATION con la regione in cui si trova l'ambiente.

   2. Nell'output, rimuovi la cartella /dags. Il risultato è l'URI del bucket dell'ambiente Cloud Composer 2.

      Ad esempio, modifica gs://us-central1-example-916807e1-bucket/dags in gs://us-central1-example-916807e1-bucket.

4. Trasferisci i file JSON con variabili e pool nel tuo ambiente Cloud Composer 2:

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=variables.json
   

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=pools.json
   

   Sostituisci:

   • COMPOSER_2_BUCKET con l'URI del bucket dell'ambiente Cloud Composer 2, ottenuto nel passaggio precedente.
   • COMPOSER_1_ENV con il nome del tuo ambiente Cloud Composer 1.
   • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 1.

5. Importa variabili e pool in Cloud Composer 2:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables import \
       -- /home/airflow/gcs/data/variables.json
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools import \
       -- /home/airflow/gcs/data/pools.json
   

6. Verifica che le variabili e i pool siano importati:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables list
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools list
   

7. Rimuovi i file JSON dai bucket:

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

Passaggio 7: trasferisci altri dati dal bucket dell'ambiente Cloud Composer 1

Trasferisci i plug-in e altri dati dal bucket dell'ambiente Cloud Composer 1.

gcloud

1. Trasferisci i plug-in al tuo ambiente Cloud Composer 2. Per farlo, esporta i plug-in dal bucket dell'ambiente Cloud Composer 1 alla cartella /plugins nel bucket dell'ambiente Cloud Composer 2:

   gcloud composer environments storage plugins export \
       --destination=COMPOSER_2_BUCKET/plugins \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

2. Verifica che la cartella /plugins sia stata importata correttamente:

   gcloud composer environments storage plugins list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

3. Esporta la cartella /data dall'ambiente Cloud Composer 1 all'ambiente Airflow 2:

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

4. Verifica che la cartella /data sia stata importata correttamente:

   gcloud composer environments storage data list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

Passaggio 8: trasferisci le connessioni

Attenzione: gli ambienti Cloud Composer hanno molte connessioni predefinite già configurate per un ambiente. Non trasferire queste connessioni perché l'ambiente Cloud Composer 2 le ha già. Se il tuo ambiente utilizza solo le connessioni predefinite, salta questo passaggio.

Airflow 1.10.15 non supporta l'esportazione delle connessioni. Per trasferire le connessioni, crea manualmente le connessioni nell'ambiente Cloud Composer 2 dall'ambiente Cloud Composer 1.

gcloud

1. Per visualizzare un elenco delle connessioni nel tuo ambiente Cloud Composer 1, esegui:

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        connections -- --list
   

2. Per creare una nuova connessione nell'ambiente Cloud Composer 2, esegui il comando CLI Airflow connections tramite gcloud. Ad esempio:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       connections add \
       -- --conn-host postgres.example.com \
       --conn-port 5432 \
       --conn-type postgres \
       --conn-login example_user \
       --conn-password example_password \
       --conn-description "Example connection" \
       example_connection
   

Passaggio 9: trasferisci gli account utente

Questo passaggio spiega come trasferire gli utenti creandoli manualmente.

Airflow 1.10.15 non supporta l'esportazione degli utenti. Per trasferire utenti e connessioni, crea manualmente nuovi account utente nel tuo ambiente Airflow 2 dall'ambiente Cloud Composer 1.

Nota: per visualizzare gli utenti, il tuo account deve disporre del ruolo Admin.

UI di Airflow

1. Per visualizzare un elenco degli utenti nel tuo ambiente Cloud Composer 1:

   1. Apri l'interfaccia web di Airflow per l'ambiente Cloud Composer 1.

   2. Vai ad Amministrazione > Utenti.

2. Per creare un utente nell'ambiente Cloud Composer 2:

   1. Apri l'interfaccia web di Airflow per il tuo ambiente Cloud Composer 2.

   2. Vai a Sicurezza > Elenca utenti.

   3. Fai clic su Add a new record (Aggiungi un nuovo record).

gcloud

1. Non è possibile visualizzare un elenco di utenti tramite gcloud in Airflow 1. Utilizza l'interfaccia utente di Airflow.

2. Per creare un nuovo account utente nel tuo ambiente Cloud Composer 2, esegui il comando CLI Airflow users create tramite gcloud. Ad esempio:

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       users create \
       -- --username example_username \
       --firstname Example-Name \
       --lastname Example-Surname \
       --email [e-mail] \
       --use-random-password \
       --role Op
   

   Sostituisci:

   • COMPOSER_2_ENV con il nome del tuo ambiente Cloud Composer 2.
   • COMPOSER_2_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 2.
   • Tutti i parametri di configurazione utente con i relativi valori dell'ambiente Cloud Composer 1, incluso il ruolo dell'utente.

Passaggio 10: assicurati che i DAG siano pronti per Airflow 2

Prima di trasferire i DAG al tuo ambiente Cloud Composer 1, assicurati che:

1. I DAG vengono eseguiti correttamente e non sono presenti problemi di compatibilità rimanenti.

2. I tuoi DAG utilizzano istruzioni di importazione corrette.

   Ad esempio, la nuova istruzione di importazione per BigQueryCreateDataTransferOperator potrebbe avere il seguente aspetto:

   from airflow.providers.google.cloud.operators.bigquery_dts \
       import BigQueryCreateDataTransferOperator
   

3. I tuoi DAG sono stati aggiornati per Airflow 2. Questa modifica è compatibile con Airflow 1.10.14 e versioni successive.

Passaggio 11: trasferisci i DAG all'ambiente Cloud Composer 2

Avviso: questo passaggio spiega come evitare potenziali problemi con esecuzioni di DAG duplicate, mancanti, errate e altrimenti non valide durante il trasferimento dei DAG tra ambienti.

Quando trasferisci i DAG tra ambienti, potrebbero verificarsi i seguenti problemi potenziali:

• Se un DAG è abilitato (non in pausa) in entrambi gli ambienti, ogni ambiente esegue la propria copia del DAG, come pianificato. Ciò potrebbe comportare l'esecuzione di DAG duplicati per gli stessi dati e lo stesso tempo di esecuzione.

• A causa del recupero del DAG, Airflow pianifica esecuzioni del DAG aggiuntive, a partire dalla data di inizio specificata nei DAG. Ciò accade perché la nuova istanza Airflow non tiene conto della cronologia delle esecuzioni DAG dell'ambiente Cloud Composer 1. Ciò potrebbe comportare la pianificazione di un numero elevato di esecuzioni DAG a partire dalla data di inizio specificata.

Evitare esecuzioni di DAG duplicate

Nel tuo ambiente Cloud Composer 2, nel tuo ambiente Airflow 2, aggiungi un override dell'opzione di configurazione di Airflow per l'opzione dags_are_paused_at_creation. Dopo aver apportato questa modifica, tutti i nuovi DAG vengono messi in pausa per impostazione predefinita.

Sezione	Chiave	Valore
core	dags_are_paused_at_creation	True

Nota: puoi rimuovere questo override dopo aver trasferito tutti i tuoi DAG all'ambiente Cloud Composer 2.

Evitare esecuzioni di DAG aggiuntive o mancanti

Per evitare lacune e sovrapposizioni nelle date di esecuzione, disattiva il recupero in Cloud Composer 2. In questo modo, dopo aver caricato i DAG nell'ambiente Cloud Composer 2, Airflow non pianifica le esecuzioni dei DAG già eseguite nell'ambiente Cloud Composer 1. Aggiungi un override dell'opzione di configurazione di Airflow per l'opzione catchup_by_default:

Sezione	Chiave	Valore
scheduler	catchup_by_default	False

Attenzione: non rimuovere questo override. In questo caso, la pianificazione dell'ambiente recupera le esecuzioni dei DAG. Queste esecuzioni di DAG potrebbero sovrapporsi a quelle già eseguite nel tuo ambiente Cloud Composer 1.

Trasferisci i DAG all'ambiente Cloud Composer 2

Per trasferire i DAG all'ambiente Cloud Composer 2:

1. Carica il DAG dall'ambiente Cloud Composer 1 all'ambiente Cloud Composer 2. Salta il DAG airflow_monitoring.py.

2. I DAG vengono sospesi nell'ambiente Cloud Composer 2 a causa dell'override della configurazione, pertanto non vengono pianificate esecuzioni di DAG.

3. Nell'interfaccia web di Airflow, vai a DAG e verifica la presenza di errori di sintassi dei DAG segnalati.

4. Al momento in cui prevedi di trasferire il DAG:

   1. Metti in pausa i DAG nel tuo ambiente Cloud Composer 1.

   2. Riattiva i DAG nell'ambiente Cloud Composer 2.

   3. Controlla che le nuove esecuzioni del DAG siano pianificate all'ora corretta.

   4. Attendi l'esecuzione dei DAG nell'ambiente Cloud Composer 2 e verifica se sono andati a buon fine. Se l'esecuzione di un DAG è andata a buon fine, non riattivarla nell'ambiente Cloud Composer 1. In caso contrario, nell'ambiente Cloud Composer 1 si verifica un'esecuzione di DAG per la stessa ora e data.

5. Se l'esecuzione di un DAG specifico non va a buon fine, prova a risolvere i problemi del DAG finché non viene eseguito correttamente in Cloud Composer 2.

   Se necessario, puoi sempre ripristinare la versione Cloud Composer 1 del DAG ed eseguire le esecuzioni del DAG non riuscite in Cloud Composer 2 dal tuo ambiente Cloud Composer 1:

   1. Metti in pausa il DAG nell'ambiente Cloud Composer 2.

   2. Riattiva il DAG nell'ambiente Cloud Composer 1. In questo modo vengono pianificate le esecuzioni di recupero del DAG per il periodo in cui il DAG è stato messo in pausa nell'ambiente Cloud Composer 1.

Passaggio 12: monitora l'ambiente Cloud Composer 2

Dopo aver trasferito tutti i DAG e la configurazione all'ambiente Cloud Composer 2, monitoralo per rilevare potenziali problemi, esecuzioni di DAG non riuscite e l'integrità complessiva dell'ambiente. Se l'ambiente Cloud Composer 2 funziona senza problemi per un periodo di tempo sufficiente, valuta la possibilità di eliminare l'ambiente Cloud Composer 1.

Passaggi successivi

• Risoluzione dei problemi dei DAG
• Risoluzione dei problemi di creazione dell'ambiente
• Risoluzione dei problemi relativi agli aggiornamenti dell'ambiente
• Utilizzo dei pacchetti di backport