Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)
Nesta página, descrevemos como o escalonamento de ambiente funciona.
Outras páginas sobre escalonamento:
- Para um guia sobre como selecionar os parâmetros de escala e desempenho ideais para seu ambiente, consulte Otimizar o desempenho e os custos do ambiente.
- Para mais informações sobre o escalonamento de ambientes, consulte Ambientes de escala.
Ambientes de escalonamento automático
Os ambientes do Airflow gerenciado são escalonados automaticamente em resposta às demandas dos DAGs e tarefas executados:
- Se o ambiente apresentar uma carga pesada, o Airflow gerenciado aumentará automaticamente o número de workers no ambiente.
- Se o ambiente não usar alguns workers, eles serão removidos para economizar recursos e custos do ambiente.
- É possível definir o número mínimo e máximo de workers no ambiente. O Airflow gerenciado faz o escalonamento automático do seu ambiente dentro dos limites definidos. É possível ajustar esses limites a qualquer momento.
O número de workers é ajustado com base na métrica de Meta de fator de escalonamento. Essa métrica é calculada com base no seguinte:
- Número atual de workers
- Número de tarefas do Celery na fila do Celery que não foram atribuídas a um worker
- Número de workers inativos
- Opção de configuração do Airflow
celery.worker_concurrency
O escalonamento automático do Airflow gerenciado usa três escalonadores automáticos diferentes fornecidos pelo GKE:
- Escalonador automático de pod horizontal (HPA)
- Escalonador automático de cluster (CA)
- Provisionamento automático de nós (NAP)
O Airflow gerenciado configura esses escalonadores automáticos no cluster do ambiente. Isso faz o escalonamento automático do número de nós no cluster, do tipo de máquina e do número de workers.
Parâmetros de escala e desempenho
Além do escalonamento automático, é possível controlar os parâmetros de escala e desempenho do ambiente ajustando os limites de CPU, memória e disco de workers, programadores, acionadores e do servidor da Web. Ao fazer isso, é possível escalonar o ambiente verticalmente, além do escalonamento horizontal fornecido pelo recurso de escalonamento automático. É possível ajustar os parâmetros de escala e desempenho a qualquer momento.
O parâmetro de desempenho tamanho do ambiente controla os parâmetros de desempenho da infraestrutura gerenciada do Airflow gerenciado que inclui o banco de dados do Airflow. Selecione um tamanho maior de ambiente se você quiser executar um grande número de DAGs e tarefas com maior desempenho da infraestrutura. Por exemplo, o tamanho maior do ambiente aumenta a quantidade de entradas de registro de tarefas do Airflow que o ambiente pode processar com atraso mínimo.
O tamanho do ambiente é diferente das predefinições do ambiente. As predefinições de ambiente , que podem ser selecionadas ao criar um ambiente no Google Cloud console, determinam os limites iniciais, a escala e os parâmetros de desempenho do ambiente, incluindo o tamanho do ambiente. O tamanho do ambiente determina apenas os parâmetros de desempenho da infraestrutura gerenciada do Airflow gerenciado do seu ambiente.
Vários programadores
O ambiente pode executar mais de um programador do Airflow ao mesmo tempo:
- É possível definir o número de programadores do seu ambiente e ajustá-lo a qualquer momento.
- O Airflow gerenciado não escalona automaticamente o número de programadores no seu ambiente.
Para mais informações sobre como configurar o número de programadores do seu ambiente, consulte Ambientes de escala.
Espaço em disco do banco de dados
O espaço em disco para o banco de dados do Airflow aumenta automaticamente para acomodar a demanda.