Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)
En esta página, se describe cómo funciona el escalamiento del entorno.
Otras páginas sobre el escalamiento:
- Si deseas obtener una guía para seleccionar parámetros óptimos de escalamiento y rendimiento para tu entorno, consulta Optimiza el rendimiento y los costos del entorno.
- Para obtener información sobre cómo escalar tus entornos, consulta Escalar entornos.
Entornos de ajuste de escalado automático
Los entornos de Managed Airflow escalan de forma automática en respuesta a las demandas de tus DAG y tareas ejecutados:
- Si tu entorno experimenta una carga pesada, Managed Airflow aumenta de forma automática la cantidad de trabajadores en tu entorno.
- Si tu entorno no usa algunos de sus trabajadores, se quitan para ahorrar recursos y costos de entorno.
- Puedes configurar la cantidad mínima y máxima de trabajadores para tu entorno. Managed Airflow escala automáticamente tu entorno dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.
La cantidad de trabajadores se ajusta según la métrica Objetivo del factor de escalamiento. Esta métrica se calcula en función de lo siguiente:
- Cantidad actual de trabajadores
- Cantidad de tareas de Celery en la cola de Celery que no están asignadas a un trabajador
- Cantidad de trabajadores inactivos
- Opción de configuración de Airflow
celery.worker_concurrency
El ajuste de escala automático de Managed Airflow usa tres escaladores automáticos diferentes que proporciona GKE:
- Horizontal Pod Autoscaler (HPA)
- Escalador automático del clúster (CA)
- Aprovisionamiento automático de nodos (NAP)
Managed Airflow configura estos escaladores automáticos en el clúster del entorno. Esto escala automáticamente la cantidad de nodos en el clúster, el tipo de máquina y la cantidad de trabajadores.
Parámetros de escalamiento y rendimiento
Además del ajuste de escala automático, puedes controlar la escala y los parámetros de rendimiento del entorno mediante el ajuste de los límites de CPU, memoria y disco de los trabajadores, los programadores, los activadores y el servidor web. Si lo haces, puedes escalar tu entorno de forma vertical, además del escalamiento horizontal que proporciona la función de ajuste de escala automático. Puedes ajustar los parámetros de escalamiento y rendimiento en cualquier momento.
El parámetro de rendimiento de tamaño del entorno de tu entorno controla los parámetros de rendimiento de la infraestructura administrada de Managed Airflow que incluye la base de datos de Airflow. Considera seleccionar un tamaño de entorno más grande si deseas ejecutar una gran cantidad de DAG y tareas con un mayor rendimiento de la infraestructura. Por ejemplo, el tamaño más grande del entorno aumenta la cantidad de entradas de registro de tareas de Airflow que tu entorno puede procesar con un retraso mínimo.
El tamaño del entorno es diferente de los ajustes predeterminados del entorno. Los ajustes predeterminados del entorno , que puedes seleccionar cuando creas un entorno en la Google Cloud consola, determinan los límites iniciales y los parámetros de rendimiento y escalamiento del entorno, incluido su tamaño. El tamaño del entorno determina solo los parámetros de rendimiento de la infraestructura administrada de Managed Airflow de tu entorno.
Varios programadores
Tu entorno puede ejecutar más de un programador de Airflow al mismo tiempo:
- Puedes establecer la cantidad de programadores de tu entorno y ajustarlo en cualquier momento.
- Managed Airflow no escala automáticamente la cantidad de programadores en tu entorno.
Para obtener más información sobre cómo configurar la cantidad de programadores para tu entorno, consulta Escalar entornos.
Espacio en el disco de la base de datos
El espacio en disco para la base de datos de Airflow aumenta de forma automática a fin de adaptarse a la demanda.