Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Questa pagina descrive il funzionamento dello scaling dell'ambiente.
Altre pagine sulla scalabilità:
- Per una guida alla selezione dei parametri ottimali di scalabilità e prestazioni per il tuo ambiente, consulta Ottimizzazione di prestazioni e costi dell'ambiente.
- Per informazioni sul ridimensionamento degli ambienti, vedi Ridimensionare gli ambienti.
Ambienti di scalabilità automatica
Gli ambienti Cloud Composer vengono scalati automaticamente in risposta alle esigenze dei DAG e delle attività eseguiti:
- Se il tuo ambiente è sottoposto a un carico elevato, Cloud Composer aumenta automaticamente il numero di worker nell'ambiente.
- Se il tuo ambiente non utilizza alcuni dei suoi worker, questi vengono rimossi per risparmiare risorse e costi dell'ambiente.
- Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente l'ambiente entro i limiti impostati. Puoi modificare questi limiti in qualsiasi momento.
Il numero di worker viene modificato in base alla metrica Target fattore di scalabilità. Questa metrica viene calcolata in base a:
- Numero attuale di worker
- Numero di attività Celery nella coda Celery che non sono assegnate a un worker
- Numero di worker inattivi
celery.worker_concurrencyOpzione di configurazione di Airflow
La scalabilità automatica di Cloud Composer utilizza tre diversi gestori della scalabilità automatica forniti da GKE:
- Scalabilità automatica orizzontale dei pod (HPA)
- Cluster Autoscaler (CA)
- Provisioning automatico dei nodi (NAP)
Cloud Composer configura questi autoscaler nel cluster dell'ambiente. In questo modo, il numero di nodi nel cluster, il tipo di macchina e il numero di worker vengono scalati automaticamente.
Parametri di scalabilità e rendimento
Oltre alla scalabilità automatica, puoi controllare i parametri di scalabilità e prestazioni del tuo ambiente regolando i limiti di CPU, memoria e disco di worker, scheduler, processori DAG, trigger e server web. In questo modo puoi scalare il tuo ambiente verticalmente, oltre alla scalabilità orizzontale fornita dalla funzionalità di scalabilità automatica. Puoi regolare i parametri di scalabilità e rendimento in qualsiasi momento.
Il parametro di rendimento Dimensione ambiente del tuo ambiente controlla i parametri di rendimento dell'infrastruttura Cloud Composer gestita che include il database Airflow. Se hai intenzione di eseguire un numero elevato di DAG e attività con un rendimento dell'infrastruttura più elevato, valuta la possibilità di selezionare dimensioni più grandi per l'ambiente. Ad esempio, le dimensioni maggiori dell'ambiente aumentano la quantità di voci di log delle attività di Airflow che l'ambiente può elaborare con un ritardo minimo.
Più scheduler
Il tuo ambiente può eseguire più di uno scheduler Airflow e un processore DAG contemporaneamente:
- Puoi impostare il numero di scheduler e processori DAG per il tuo ambiente e modificarlo in qualsiasi momento.
- Cloud Composer non scala automaticamente il numero di scheduler o processori DAG nel tuo ambiente.
Per ulteriori informazioni sulla configurazione del numero di scheduler e processori DAG per il tuo ambiente, vedi Scalare gli ambienti.
Spazio su disco del database
Lo spazio su disco per il database Airflow aumenta automaticamente per soddisfare la domanda.