Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Nesta página, descrevemos como funciona o escalonamento de ambiente.
Outras páginas sobre escalonamento:
- Para um guia sobre como selecionar os parâmetros de escala e desempenho ideais para seu ambiente, consulte Otimizar o desempenho e os custos do ambiente.
- Para mais informações sobre o escalonamento de ambientes, consulte Ambientes de escala.
Ambientes de escalonamento automático
Os ambientes do Cloud Composer são escalonados automaticamente em resposta às demandas dos DAGs e tarefas executados:
- Se o ambiente apresentar uma carga pesada, o Cloud Composer aumentará automaticamente o número de workers no ambiente.
- Se o ambiente não usar alguns workers, eles serão removidos para economizar recursos e custos do ambiente.
- É possível definir o número mínimo e máximo de workers no ambiente. O Cloud Composer faz o escalonamento automático do seu ambiente dentro dos limites definidos. É possível ajustar esses limites a qualquer momento.
O número de workers é ajustado com base na métrica de Meta de fator de escalonamento. Essa métrica é calculada com base no seguinte:
- Número atual de workers
- Número de tarefas do Celery na fila do Celery que não foram atribuídas a um worker
- Número de workers inativos
- Opção de configuração do Airflow
celery.worker_concurrency
O escalonamento automático do Cloud Composer usa três escalonadores automáticos diferentes fornecidos pelo GKE:
- Escalonador automático de pod horizontal (HPA)
- Escalonador automático de cluster (CA)
- Provisionamento automático de nós (NAP)
O Cloud Composer configura esses escalonadores automáticos no cluster do ambiente. Isso faz o escalonamento automático do número de nós no cluster, do tipo de máquina e do número de workers.
Parâmetros de escala e desempenho
Além do escalonamento automático, é possível controlar os parâmetros de escalonamento e desempenho do ambiente ajustando os limites de CPU, memória e disco de workers, programadores, processadores de DAGs, acionadores e o servidor da Web. Ao fazer isso, é possível escalonar o ambiente verticalmente, além do escalonamento horizontal fornecido pelo recurso de escalonamento automático. É possível ajustar os parâmetros de escalonamento e desempenho a qualquer momento.
O parâmetro de desempenho tamanho do ambiente controla os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer que inclui o banco de dados do Airflow. Selecione um tamanho maior de ambiente se você quiser executar um grande número de DAGs e tarefas com maior desempenho de infraestrutura. Por exemplo, quanto maior o ambiente, maior a quantidade de entradas de registro de tarefas do Airflow que ele pode processar com atraso mínimo.
Vários programadores
Seu ambiente pode executar mais de um programador do Airflow e processador de DAG ao mesmo tempo:
- É possível definir o número de programadores e processadores de DAGs para seu ambiente e ajustar isso a qualquer momento.
- O Cloud Composer não escalona automaticamente o número de programadores ou processadores de DAG no seu ambiente.
Para mais informações sobre como configurar o número de programadores e processadores de DAG do seu ambiente, consulte Ambientes de escala.
Espaço em disco do banco de dados
O espaço em disco para o banco de dados do Airflow aumenta automaticamente para acomodar a demanda.