Limpar o banco de dados do Airflow

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Nesta página, explicamos como manter o banco de dados do Airflow no seu ambiente.

Limpeza automática do banco de dados com uma política de retenção

É possível configurar a limpeza automática do banco de dados para seu ambiente do Airflow Gerenciado (Geração 3) definindo uma política de retenção de banco de dados. Depois de configurar essa política, os registros mais antigos que um determinado período são removidos automaticamente do banco de dados do Airflow todos os dias. Para mais informações, consulte Configurar a política de retenção de banco de dados.

Procedimentos de limpeza descontinuados

Antes que a política de retenção de banco de dados ficasse disponível no Airflow Gerenciado, recomendamos uma abordagem diferente para automatizar a limpeza do banco de dados usando um DAG de limpeza de banco de dados. Essa abordagem está obsoleta no Airflow gerenciado (Geração 3). Esse DAG faz um trabalho redundante, e você pode reduzir o consumo de recursos removendo-o e substituindo-o por uma política de retenção de banco de dados.

Limites para o tamanho do banco de dados

Com o tempo, o banco de dados do Airflow do seu ambiente armazena cada vez mais dados. Esses dados incluem informações e registros relacionados a execuções anteriores de DAG, tarefas e outras operações do Airflow.

  • Se o banco de dados do Airflow tiver mais de 20 GB, não será possível fazer upgrade do ambiente para uma versão mais recente.

  • Se o banco de dados do Airflow tiver mais de 20 GB, não será possível criar snapshots.

Manter o desempenho do banco de dados

  • Problemas de desempenho do banco de dados do Airflow podem levar a problemas gerais de execução do DAG. Observe as estatísticas de uso de CPU e uso da memória do banco de dados. Se a utilização da CPU e da memória se aproximar dos limites, o banco de dados estará sobrecarregado e precisará de escalonamento. A quantidade de recursos disponíveis para o banco de dados do Airflow é controlada pela propriedade de tamanho do ambiente. Para fazer isso, altere o tamanho do ambiente para um nível maior. Aumentar o tamanho do ambiente aumenta os custos dele.

  • Se você usar o mecanismo XCom para transferir arquivos, use-o de acordo com as diretrizes do Airflow. A transferência de arquivos grandes ou de um grande número de arquivos usando XCom afeta o desempenho do banco de dados do Airflow e pode causar falhas ao carregar snapshots ou fazer upgrade do ambiente. Considere usar alternativas como o Cloud Storage para transferir grandes volumes de dados.

Remova entradas para DAGs não utilizados

É possível remover entradas do banco de dados para DAGs não utilizados removendo DAGs da interface do Airflow.

A seguir