Instalar plug-ins personalizados

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Esta página descreve como instalar plug-ins personalizados no ambiente do Serviço Gerenciado para Apache Airflow.

O gerenciador de plug-ins do Apache Airflow permite que você crie operadores, hooks, sensores ou interfaces internos personalizados do Apache Airflow. Para mais informações, consulte plug-ins personalizados na documentação do Airflow.

Sobre plug-ins personalizados

Quando você cria um ambiente, o Airflow gerenciado cria um bucket do Cloud Storage e o associa a este bucket com seu ambiente. Use a pasta plugins no bucket do ambiente para instalar plug-ins personalizados.

Antes de começar

  • Sua conta precisa ter um papel que permita a visualização e a modificação do conteúdo do bucket do ambiente.
  • Este método de instalação se aplica apenas aos plug-ins do Airflow (em inglês). Por exemplo, não é possível usá-lo para instalar módulos comuns do Python ou outras bibliotecas.

  • Os plug-ins precisam estar em conformidade com as diretrizes do modelo de plug-ins do Airflow.

  • No Airflow gerenciado (Geração 1 legada), os plug-ins são compatíveis apenas com ambientes do Airflow 1 com a serialização de DAG desativada. Os plug-ins não são compatíveis com ambientes do Airflow gerenciado (Geração 1 legada) com o Airflow 2.

Instalar um plug-in

Para instalar um plug-in personalizado no ambiente do Airflow gerenciado, copie o código do plug-in para a pasta plugins no bucket do ambiente.

Para instalar um plug-in:

Console

  1. No Google Cloud console, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Faça upload dos arquivos de plug-in. Para mais informações sobre como fazer upload de objetos, consulte Como fazer upload de objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado
  • PATH_TO_LOCAL_FILE pelo caminho do arquivo para upload
  • (Opcional) PATH_IN_SUBFOLDER pelo caminho da subpasta. Use o argumento --destination para fazer upload de um plug-in para uma subpasta na pasta plugins. Caso contrário, omita o argumento --destination.

Ver a lista de plug-ins

Console

  1. No Google Cloud console, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Veja os arquivos do plug-in.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado

Excluir um plug-in

Para excluir um plug-in do ambiente do Airflow gerenciado, exclua o código do plug-in da pasta plugins no bucket do ambiente.

Para excluir um plug-in:

Console

  1. No Google Cloud console, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Exclua os arquivos do plug-in. Para mais informações sobre como excluir objetos, consulte Como excluir objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Fazer o download de plug-ins

Para fazer o download de plug-ins, escolha uma opção a seguir:

Console

  1. No Google Cloud console, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre seu ambiente e siga o link DAGs.

  3. Vá para um nível acima da pasta e navegue até a pasta plugins/.

  4. Faça o download dos arquivos de plug-in. Para mais informações sobre como excluir objetos, consulte Como fazer o download de objetos.

gcloud

Use o seguinte comando gcloud:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado
  • PATH_TO_LOCAL_DESTINATION pelo destino do arquivo salvo.
  • (Opcional) --source é uma opção para fazer o download de apenas um plug-in; PATH_IN_FOLDER é o caminho da pasta.

Resolver problemas de plug-ins

Um plug-in recém-enviado não está visível na interface do Airflow

Se você usar o controle de acesso da interface do Airflow, o plug-in recém- enviado poderá não ficar visível na interface do Airflow. Para resolver esse problema, peça ao administrador da interface do Airflow para configurar o acesso ao plug-in recém-enviado ou atribua a si mesmo o papel Admin na interface do Airflow.

A seguir