Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Auf dieser Seite wird beschrieben, wie die Umgebungsskalierung funktioniert.
Weitere Seiten zur Skalierung:
- Eine Anleitung zur Auswahl optimaler Skalierungs- und Leistungsparameter für Ihre Umgebung finden Sie unter Umgebungsleistung und ‑kosten optimieren.
- Informationen zum Skalieren Ihrer Umgebungen finden Sie unter Umgebungen skalieren.
Autoscaling-Umgebungen
Managed Airflow-Umgebungen werden automatisch entsprechend den Anforderungen Ihrer ausgeführten DAGs und Aufgaben skaliert:
- Wenn Ihre Umgebung stark ausgelastet ist, erhöht Managed Airflow automatisch die Anzahl der Worker in Ihrer Umgebung.
- Wenn Ihre Umgebung einige ihrer Worker nicht verwendet, werden diese Worker entfernt, um Umgebungsressourcen und Kosten zu sparen.
- Sie können die Mindest- und Höchstanzahl an Workern für Ihre Umgebung festlegen. Managed Airflow skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.
Die Anzahl der Worker wird basierend auf dem Messwert Skalierungsfaktorziel angepasst. Dieser Messwert wird basierend auf folgenden Kriterien berechnet:
- Aktuelle Anzahl der Worker
- Anzahl der Celery-Tasks in der Celery-Warteschlange, die keinem Worker zugewiesen sind
- Anzahl inaktiver Worker
celery.worker_concurrency-Airflow-Konfigurationsoption
Das verwaltete Airflow-Autoscaling verwendet drei verschiedene von GKE bereitgestellte Autoscalings:
Managed Airflow konfiguriert diese Autoscalings im Cluster der Umgebung. Dadurch werden automatisch die Anzahl der Knoten im Cluster, der Maschinentyp und die Anzahl der Worker skaliert.
Skalierungs- und Leistungsparameter
Neben Autoscaling können Sie die Skalierungs- und Leistungsparameter Ihrer Umgebung steuern, indem Sie die CPU-, Arbeitsspeicher- und Laufwerklimits von Workern, Planern, DAG-Prozessoren, Triggern und dem Webserver anpassen. Dadurch können Sie Ihre Umgebung zusätzlich zur horizontalen Skalierung, die von der Autoscaling-Funktion bereitgestellt wird, vertikal skalieren. Sie können die Skalierungs- und Leistungsparameter jederzeit anpassen.
Der Leistungsparameter Umgebungsgröße Ihrer Umgebung steuert die Leistungsparameter der verwalteten Managed Airflow-Infrastruktur, die die Airflow-Datenbank enthält. Wenn Sie eine große Anzahl von DAGs und Aufgaben mit höherer Infrastrukturleistung ausführen möchten, sollten Sie für die Umgebungsgröße einen größeren Wert auswählen. Wenn Sie beispielsweise die Größe der Umgebung erhöhen, steigt die Anzahl der Airflow-Aufgabenprotokolleinträge, die Ihre Umgebung mit minimaler Verzögerung verarbeiten kann.
Die Umgebungsgröße unterscheidet sich von den Umgebungsvoreinstellungen. Umgebungsvoreinstellungen, die Sie beim Erstellen einer Umgebung in derGoogle Cloud -Konsole auswählen können, bestimmen die anfänglichen Limits, Skalierungs- und Leistungsparameter Ihrer Umgebung, einschließlich der Umgebungsgröße. Die Umgebungsgröße bestimmt nur die Leistungsparameter der verwalteten Managed Airflow-Infrastruktur Ihrer Umgebung.
Mehrere Planer
In Ihrer Umgebung können mehrere Airflow-Planer und DAG-Prozessoren gleichzeitig ausgeführt werden:
- Sie können die Anzahl der Planer und DAG-Prozessoren für Ihre Umgebung festlegen und jederzeit anpassen.
- In Managed Airflow wird die Anzahl der Planer oder DAG-Prozessoren in Ihrer Umgebung nicht automatisch skaliert.
Weitere Informationen zum Konfigurieren der Anzahl der Planer und DAG-Prozessoren für Ihre Umgebung finden Sie unter Umgebungen skalieren.
Speicherplatz der Datenbank
Der Speicherplatz für die Airflow-Datenbank wird automatisch an den Bedarf angepasst.