Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
En esta página, se describe cómo funciona el escalamiento del entorno.
Otras páginas sobre el escalamiento:
- Si deseas obtener una guía para seleccionar los parámetros óptimos de escala y rendimiento para tu entorno, consulta Optimiza el rendimiento y los costos del entorno.
- Para obtener información sobre cómo escalar tus entornos, consulta Escalado de entornos.
Entornos de ajuste de escalado automático
Los entornos de Cloud Composer se escalan automáticamente en respuesta a las demandas de tus DAG y tareas ejecutados:
- Si tu entorno experimenta una carga pesada, Cloud Composer aumenta de forma automática la cantidad de trabajadores en tu entorno.
- Si tu entorno no usa algunos de sus trabajadores, se quitan para ahorrar recursos y costos de entorno.
- Puedes configurar la cantidad mínima y máxima de trabajadores para tu entorno. Cloud Composer escala automáticamente tu entorno dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.
La cantidad de trabajadores se ajusta según la métrica Objetivo del factor de escalamiento. Esta métrica se calcula en función de lo siguiente:
- Cantidad actual de trabajadores
- Cantidad de tareas de Celery en la cola de Celery que no están asignadas a un trabajador
- Cantidad de trabajadores inactivos
- Opción de configuración de Airflow
celery.worker_concurrency
El ajuste de escala automático de Cloud Composer usa tres escaladores automáticos diferentes que proporciona GKE:
- Horizontal Pod Autoscaler (HPA)
- Escalador automático del clúster (CA)
- Aprovisionamiento automático de nodos (NAP)
Cloud Composer configura estos escaladores automáticos en el clúster del entorno. Esto escala automáticamente la cantidad de nodos en el clúster, el tipo de máquina y la cantidad de trabajadores.
Parámetros de escalamiento y rendimiento
Además del ajuste de escala automático, puedes controlar la escala y los parámetros de rendimiento del entorno ajustando los límites de CPU, memoria y disco de los trabajadores, los programadores, los procesadores de DAG, los activadores y el servidor web. Si lo haces, puedes escalar tu entorno de forma vertical, además del escalamiento horizontal que proporciona la función de ajuste de escala automático. Puedes ajustar los parámetros de escalamiento y rendimiento en cualquier momento.
El parámetro de rendimiento de tamaño de entorno de tu entorno controla los parámetros de rendimiento de la infraestructura administrada de Cloud Composer que incluye la base de datos de Airflow. Considera seleccionar un tamaño de entorno más grande si deseas ejecutar una gran cantidad de DAG y tareas con un mayor rendimiento de la infraestructura. Por ejemplo, un entorno más grande aumenta la cantidad de entradas de registro de tareas de Airflow que tu entorno puede procesar con una demora mínima.
Varios programadores
Tu entorno puede ejecutar más de un programador de Airflow y procesador de DAG al mismo tiempo:
- Puedes establecer la cantidad de programadores y procesadores de DAG para tu entorno, y ajustarla en cualquier momento.
- Cloud Composer no escala automáticamente la cantidad de programadores ni procesadores de DAG en tu entorno.
Para obtener más información sobre cómo configurar la cantidad de programadores y procesadores de DAG para tu entorno, consulta Escala entornos.
Espacio en el disco de la base de datos
El espacio en disco para la base de datos de Airflow aumenta de forma automática a fin de adaptarse a la demanda.