Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Esta página descreve como funciona o dimensionamento do ambiente.
Outras páginas sobre a escala:
- Para ver um guia sobre a seleção de parâmetros de desempenho e escala ideais para o seu ambiente, consulte o artigo Otimize o desempenho e os custos do ambiente.
- Para obter informações sobre como dimensionar os seus ambientes, consulte o artigo Dimensione os ambientes.
Ambientes de escala automática
Os ambientes do Cloud Composer são dimensionados automaticamente em resposta às exigências das suas tarefas e DAGs executados:
- Se o seu ambiente tiver uma carga elevada, o Cloud Composer aumenta automaticamente o número de trabalhadores no seu ambiente.
- Se o seu ambiente não usar alguns dos respetivos trabalhadores, estes são removidos para poupar recursos e custos do ambiente.
- Pode definir o número mínimo e máximo de trabalhadores para o seu ambiente. O Cloud Composer dimensiona automaticamente o seu ambiente dentro dos limites definidos. Pode ajustar estes limites em qualquer altura.
O número de trabalhadores é ajustado com base na métrica Alvo do fator de escalabilidade. Esta métrica é calculada com base no seguinte:
- Número atual de trabalhadores
- Número de tarefas do Celery na fila do Celery que não estão atribuídas a um trabalhador
- Número de trabalhadores inativos
celery.worker_concurrencyOpção de configuração do fluxo de ar
A escala automática do Cloud Composer usa três redimensionadores automáticos diferentes fornecidos pelo GKE:
- Redimensionador automático horizontal de pods (HPA)
- Cluster Autoscaler (CA)
- Aprovisionamento automático de nós (NAP)
O Cloud Composer configura estes escaladores automáticos no cluster do ambiente. Isto dimensiona automaticamente o número de nós no cluster, o tipo de máquina e o número de trabalhadores.
Parâmetros de escala e desempenho
Além do ajuste de escala automático, pode controlar os parâmetros de escala e desempenho do seu ambiente ajustando os limites de CPU, memória e disco dos trabalhadores, programadores, processadores de DAG, acionadores e o servidor Web. Ao fazê-lo, pode dimensionar o seu ambiente verticalmente, além do dimensionamento horizontal fornecido pela funcionalidade de dimensionamento automático. Pode ajustar os parâmetros de escala e desempenho em qualquer altura.
O parâmetro de desempenho environment size do seu ambiente controla os parâmetros de desempenho da infraestrutura do Cloud Composer gerida que inclui a base de dados do Airflow. Pondere selecionar um tamanho do ambiente maior se quiser executar um grande número de DAGs e tarefas com um desempenho de infraestrutura superior. Por exemplo, o aumento do tamanho do ambiente aumenta a quantidade de entradas do registo de tarefas do Airflow que o seu ambiente pode processar com um atraso mínimo.
Vários agendadores
O seu ambiente pode executar mais do que um programador do Airflow e um processador de DAG ao mesmo tempo:
- Pode definir o número de programadores e processadores de DAGs para o seu ambiente e ajustá-lo em qualquer altura.
- O Cloud Composer não dimensiona automaticamente o número de programadores ou processadores de DAGs no seu ambiente.
Para mais informações sobre a configuração do número de agendadores e processadores de DAGs para o seu ambiente, consulte o artigo Dimensione os ambientes.
Espaço em disco da base de dados
O espaço em disco para a base de dados do Airflow aumenta automaticamente para satisfazer a procura.