Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
En esta página se describe cómo funciona el escalado del entorno.
Otras páginas sobre el escalado:
- Para obtener una guía sobre cómo seleccionar los parámetros óptimos de escalado y rendimiento de tu entorno, consulta Optimizar el rendimiento y los costes del entorno.
- Para obtener información sobre cómo escalar tus entornos, consulta el artículo Escalar entornos.
Entornos de autoescalado
Los entornos de Cloud Composer se escalan automáticamente en función de las demandas de los DAGs y las tareas que ejecutes:
- Si tu entorno experimenta una carga pesada, Cloud Composer aumenta automáticamente el número de trabajadores de tu entorno.
- Si tu entorno no utiliza algunos de sus trabajadores, estos se eliminan para ahorrar recursos y costes del entorno.
- Puedes definir el número mínimo y máximo de trabajadores de tu entorno. Cloud Composer escala automáticamente tu entorno dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.
El número de trabajadores se ajusta en función de la métrica Objetivo del factor de escalado. Esta métrica se calcula en función de lo siguiente:
- Número actual de trabajadores
- Número de tareas de Celery en la cola de Celery que no están asignadas a un trabajador.
- Número de trabajadores inactivos
- Opción de configuración de
celery.worker_concurrencyAirflow
El autoescalado de Cloud Composer usa tres herramientas de autoescalado diferentes proporcionadas por GKE:
- Autoescalador horizontal de pods (HPA)
- Herramienta de adaptación dinámica de clústeres (CA)
- Aprovisionamiento automático de nodos (NAP)
Cloud Composer configura estos escaladores automáticos en el clúster del entorno. De esta forma, se escala automáticamente el número de nodos del clúster, el tipo de máquina y el número de trabajadores.
Parámetros de escala y rendimiento
Además del autoescalado, puedes controlar los parámetros de escala y rendimiento de tu entorno ajustando los límites de CPU, memoria y disco de los trabajadores, los programadores, los procesadores de DAGs, los activadores y el servidor web. De esta forma, puedes escalar tu entorno verticalmente, además del escalado horizontal que proporciona la función de autoescalado. Puedes ajustar los parámetros de escala y rendimiento en cualquier momento.
El parámetro de rendimiento Tamaño del entorno de tu entorno controla los parámetros de rendimiento de la infraestructura gestionada de Cloud Composer, que incluye la base de datos de Airflow. Si quieres ejecutar un gran número de DAGs y tareas con un mayor rendimiento de la infraestructura, te recomendamos que selecciones un tamaño de entorno más grande. Por ejemplo, si el tamaño del entorno es mayor, aumenta la cantidad de entradas de registro de tareas de Airflow que puede procesar con un retraso mínimo.
Varias programaciones
Tu entorno puede ejecutar más de un programador de Airflow y un procesador de DAG al mismo tiempo:
- Puedes definir el número de programadores y procesadores de DAG de tu entorno, así como ajustarlo en cualquier momento.
- Cloud Composer no escala automáticamente el número de programadores ni de procesadores de DAGs de tu entorno.
Para obtener más información sobre cómo configurar el número de programadores y procesadores de DAGs de tu entorno, consulta Escalar entornos.
Espacio en disco de la base de datos
El espacio en disco de la base de datos de Airflow aumenta automáticamente para adaptarse a la demanda.