Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Nesta página, descrevemos como funciona o escalonamento de ambiente.
Outras páginas sobre escalonamento:
- Para um guia sobre como selecionar os parâmetros de escala e desempenho ideais para seu ambiente, consulte Otimizar o desempenho e os custos do ambiente.
- Para mais informações sobre o escalonamento de ambientes, consulte Ambientes de escala.
Ambientes de escalonamento automático
Os ambientes do Cloud Composer são escalonados automaticamente em resposta às demandas dos DAGs e tarefas executados:
- Se o ambiente apresentar uma carga pesada, o Cloud Composer aumentará automaticamente o número de workers no ambiente.
- Se o ambiente não usar alguns workers, eles serão removidos para economizar recursos e custos do ambiente.
- É possível definir o número mínimo e máximo de workers no ambiente. O Cloud Composer faz o escalonamento automático do seu ambiente dentro dos limites definidos. É possível ajustar esses limites a qualquer momento.
O número de workers é ajustado com base na métrica de Meta de fator de escalonamento. Essa métrica é calculada com base no seguinte:
- Número atual de workers
- Número de tarefas do Celery na fila do Celery que não foram atribuídas a um worker
- Número de workers inativos
- Opção de configuração do Airflow
celery.worker_concurrency
O escalonamento automático do Cloud Composer usa três escalonadores automáticos diferentes fornecidos pelo GKE:
- Escalonador automático de pod horizontal (HPA)
- Escalonador automático de cluster (CA)
- Provisionamento automático de nós (NAP)
O Cloud Composer configura esses escalonadores automáticos no cluster do ambiente. Isso faz o escalonamento automático do número de nós no cluster, do tipo de máquina e do número de workers.
Parâmetros de escala e desempenho
Além do escalonamento automático, é possível controlar os parâmetros de escalonamento e desempenho do ambiente ajustando os limites de CPU, memória e disco de workers, programadores, acionadores e o servidor da Web. Ao fazer isso, é possível escalonar o ambiente verticalmente, além do escalonamento horizontal fornecido pelo recurso de escalonamento automático. É possível ajustar os parâmetros de escalonamento e desempenho a qualquer momento.
O parâmetro de desempenho tamanho do ambiente controla os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer que inclui o banco de dados do Airflow. Selecione um tamanho maior de ambiente se você quiser executar um grande número de DAGs e tarefas com maior desempenho de infraestrutura. Por exemplo, quanto maior o ambiente, maior a quantidade de entradas de registro de tarefas do Airflow que ele pode processar com atraso mínimo.
Vários programadores
Seu ambiente pode executar mais de um programador do Airflow ao mesmo tempo:
- É possível definir o número de programadores para seu ambiente e ajustá-lo a qualquer momento.
- O Cloud Composer não escalona automaticamente o número de programadores no seu ambiente.
Para mais informações sobre como configurar o número de programadores do seu ambiente, consulte Ambientes de escala.
Espaço em disco do banco de dados
O espaço em disco para o banco de dados do Airflow aumenta automaticamente para acomodar a demanda.