Instale plug-ins personalizados

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página descreve como instalar plug-ins personalizados no seu ambiente do Cloud Composer.

O gestor de plug-ins do Apache Airflow permite-lhe escrever operadores, hooks, sensores ou interfaces do Apache Airflow personalizados. Para mais informações, consulte os plug-ins personalizados na documentação do Airflow.

Acerca dos plug-ins personalizados

Quando cria um ambiente, o Cloud Composer cria um contentor do Cloud Storage e associa este contentor ao seu ambiente. Use a pasta plugins no contentor do seu ambiente para instalar plug-ins personalizados.

Antes de começar

  • A sua conta tem de ter uma função que permita ver e modificar o conteúdo do contentor do seu ambiente.
  • Este método de instalação aplica-se apenas a plug-ins do Airflow. Por exemplo, não pode usar este método para instalar módulos Python comuns ou outras bibliotecas.

  • Os plugins têm de estar em conformidade com as diretrizes do modelo de plugins do Airflow.

  • No Cloud Composer 1, os plug-ins só são suportados em ambientes do Airflow 1 com a serialização de DAGs desativada. Os plug-ins não são suportados em ambientes do Cloud Composer 1 com o Airflow 2.

Instale um plugin

Para instalar um plug-in personalizado no seu ambiente do Cloud Composer, copie o código do plug-in para a pasta plugins no contentor do seu ambiente.

Para instalar um plugin:

Consola

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Encontre o seu ambiente e siga o link DAGs.

  3. Subir um nível de pastas e, em seguida, navegar para a pasta plugins/.

  4. Carregue os ficheiros do plug-in. Para mais informações sobre o carregamento de objetos, consulte o artigo Carregar objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Substituição:

  • ENVIRONMENT_NAME com o nome do ambiente.
  • LOCATION com a região onde o ambiente está localizado.
  • PATH_TO_LOCAL_FILE com o caminho do ficheiro a carregar.
  • (Opcional) PATH_IN_SUBFOLDER com o caminho da subpasta. Use o argumento --destination para carregar um plugin para uma subpasta na pasta plugins. Caso contrário, omita o argumento --destination.

Veja a lista de plug-ins

Consola

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Encontre o seu ambiente e siga o link DAGs.

  3. Subir um nível de pastas e, em seguida, navegar para a pasta plugins/.

  4. Veja os ficheiros do plug-in.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Substituição:

  • ENVIRONMENT_NAME com o nome do ambiente.
  • LOCATION com a região onde o ambiente está localizado.

Elimine um plugin

Para eliminar um plug-in do seu ambiente do Cloud Composer, elimine o código do plug-in da pasta plugins no contentor do ambiente.

Para eliminar um plugin:

Consola

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Encontre o seu ambiente e siga o link DAGs.

  3. Subir um nível de pastas e, em seguida, navegar para a pasta plugins/.

  4. Elimine os ficheiros do plug-in. Para mais informações sobre a eliminação de objetos, consulte o artigo Eliminar objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Transfira plug-ins

Para transferir plug-ins, escolha uma opção:

Consola

  1. Na Google Cloud consola, aceda à página Ambientes.

    Aceder a Ambientes

  2. Encontre o seu ambiente e siga o link DAGs.

  3. Subir um nível de pastas e, em seguida, navegar para a pasta plugins/.

  4. Transfira os ficheiros do plugin. Para mais informações sobre a eliminação de objetos, consulte o artigo Transferir objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Substituição:

  • ENVIRONMENT_NAME com o nome do ambiente.
  • LOCATION com a região onde o ambiente está localizado.
  • PATH_TO_LOCAL_DESTINATION com o destino do ficheiro transferido.
  • (Opcional) --source é uma opção para transferir apenas um plugin. PATH_IN_FOLDER é o caminho da pasta.

Resolva problemas de plug-ins

Um plugin carregado recentemente não está visível na IU do Airflow

Se usar o controlo de acesso da IU do Airflow, o plug-in carregado recentemente pode não estar visível na IU do Airflow. Para resolver este problema, peça ao administrador da IU do Airflow para configurar o acesso ao plug-in carregado recentemente ou atribua a si próprio a função Admin na IU do Airflow.

O que se segue?