Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)
Nesta página, descrevemos como funciona o escalonamento de ambiente.
Outras páginas sobre escalonamento:
- Para um guia sobre como selecionar os parâmetros de escala e desempenho ideais para seu ambiente, consulte Otimizar o desempenho e os custos do ambiente.
- Para mais informações sobre o escalonamento de ambientes, consulte Ambientes de escala.
Ambientes de escalonamento automático
Os ambientes do Airflow Gerenciado são escalonados automaticamente em resposta às demandas dos DAGs e tarefas executados:
- Se o ambiente apresentar uma carga pesada, o Airflow Gerenciado aumentará automaticamente o número de workers no ambiente.
- Se o ambiente não usar alguns workers, eles serão removidos para economizar recursos e custos do ambiente.
- É possível definir o número mínimo e máximo de workers no ambiente. O Airflow gerenciado faz o escalonamento automático do seu ambiente dentro dos limites definidos. É possível ajustar esses limites a qualquer momento.
O número de workers é ajustado com base na métrica de Meta de fator de escalonamento. Essa métrica é calculada com base no seguinte:
- Número atual de workers
- Número de tarefas do Celery na fila do Celery que não foram atribuídas a um worker
- Número de workers inativos
- Opção de configuração do Airflow
celery.worker_concurrency
O escalonamento automático do Airflow Gerenciado usa três escalonadores automáticos diferentes fornecidos pelo GKE:
- Escalonador automático de pod horizontal (HPA)
- Escalonador automático de cluster (CA)
- Provisionamento automático de nós (NAP)
O Airflow gerenciado configura esses escalonadores automáticos no cluster do ambiente. Isso faz o escalonamento automático do número de nós no cluster, do tipo de máquina e do número de workers.
Parâmetros de escala e desempenho
Além do escalonamento automático, é possível controlar os parâmetros de escalonamento e desempenho do ambiente ajustando os limites de CPU, memória e disco de workers, programadores, processadores de DAGs, acionadores e o servidor da Web. Ao fazer isso, é possível escalonar o ambiente verticalmente, além do escalonamento horizontal fornecido pelo recurso de escalonamento automático. É possível ajustar os parâmetros de escalonamento e desempenho a qualquer momento.
O parâmetro de desempenho tamanho do ambiente controla os parâmetros de desempenho da infraestrutura do Airflow Gerenciado que inclui o banco de dados do Airflow. Selecione um tamanho maior de ambiente se quiser executar um grande número de DAGs e tarefas com maior desempenho da infraestrutura. Por exemplo, um ambiente maior aumenta a quantidade de entradas de registro de tarefas do Airflow que ele pode processar com atraso mínimo.
O tamanho do ambiente é diferente das predefinições de ambiente. Predefinições de ambiente, que podem ser selecionadas ao criar um ambiente no console doGoogle Cloud , determinam os limites, a escala e os parâmetros de desempenho iniciais, incluindo o tamanho do ambiente. O tamanho do ambiente determina apenas os parâmetros de desempenho da infraestrutura do Airflow Gerenciado do seu ambiente.
Vários programadores
Seu ambiente pode executar mais de um programador do Airflow e processador de DAG ao mesmo tempo:
- É possível definir o número de programadores e processadores de DAGs para seu ambiente e ajustar isso a qualquer momento.
- O Airflow gerenciado não escalona automaticamente o número de programadores ou processadores de DAG no seu ambiente.
Para mais informações sobre como configurar o número de programadores e processadores de DAGs do seu ambiente, consulte Ambientes de escala.
Espaço em disco do banco de dados
O espaço em disco para o banco de dados do Airflow aumenta automaticamente para acomodar a demanda.