Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Auf dieser Seite wird beschrieben, wie die Umgebungsskalierung funktioniert.
Weitere Seiten zur Skalierung:
- Eine Anleitung zur Auswahl optimaler Skalierungs- und Leistungsparameter für Ihre Umgebung finden Sie unter Umgebungsleistung und ‑kosten optimieren.
- Informationen zum Skalieren Ihrer Umgebungen finden Sie unter Umgebungen skalieren.
Autoscaling-Umgebungen
Managed Airflow-Umgebungen werden automatisch entsprechend den Anforderungen Ihrer ausgeführten DAGs und Aufgaben skaliert:
- Wenn Ihre Umgebung stark ausgelastet ist, erhöht Managed Airflow automatisch die Anzahl der Worker in Ihrer Umgebung.
- Wenn Ihre Umgebung einige ihrer Worker nicht verwendet, werden diese Worker entfernt, um Umgebungsressourcen und Kosten zu sparen.
- Sie können die Mindest- und Höchstanzahl an Workern für Ihre Umgebung festlegen. Managed Airflow skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.
Die Anzahl der Worker wird basierend auf dem Messwert Skalierungsfaktorziel angepasst. Dieser Messwert wird basierend auf folgenden Kriterien berechnet:
- Aktuelle Anzahl der Worker
- Anzahl der Celery-Aufgaben in der Celery-Warteschlange, die keinem Worker zugewiesen sind
- Anzahl inaktiver Worker
- Airflow-Konfigurationsoption
celery.worker_concurrency
Managed Airflow-Autoscaling verwendet drei verschiedene von GKE bereitgestellte Autoscalings:
Managed Airflow konfiguriert diese Autoscalings im Cluster der Umgebung. Dadurch werden automatisch die Anzahl der Knoten im Cluster, der Maschinentyp und die Anzahl der Worker skaliert.
Skalierungs- und Leistungsparameter
Neben Autoscaling können Sie die Skalierungs- und Leistungsparameter Ihrer Umgebung steuern, indem Sie die CPU-, Arbeitsspeicher- und Speicherplatzlimits für Worker, Planer, Trigger und den Webserver anpassen. Dadurch können Sie Ihre Umgebung zusätzlich zur horizontalen Skalierung, die von der Autoscaling-Funktion bereitgestellt wird, vertikal skalieren. Sie können die Skalierungs- und Leistungsparameter jederzeit anpassen.
Der Leistungsparameter Umgebungsgröße Ihrer Umgebung steuert die Leistungsparameter der verwalteten Managed Airflow-Infrastruktur, die die Airflow-Datenbank enthält. Wenn Sie eine große Anzahl von DAGs und Aufgaben mit höherer Infrastrukturleistung ausführen möchten, sollten Sie für die Umgebungsgröße einen größeren Wert auswählen. Bei einer größeren Umgebungsgröße kann Ihre Umgebung beispielsweise eine größere Anzahl von Airflow-Aufgabenprotokolleinträgen mit minimaler Verzögerung verarbeiten.
Die Umgebungsgröße unterscheidet sich von den Umgebungsvoreinstellungen. Umgebung svoreinstellungen, die Sie beim Erstellen einer Umgebung in der Google Cloud Konsole auswählen können, bestimmen die anfänglichen Limits, Skalierungen und Leistungsparameter Ihrer Umgebung, einschließlich der Umgebungsgröße. Die Umgebungsgröße bestimmt nur die Leistungsparameter der verwalteten Managed Airflow-Infrastruktur Ihrer Umgebung.
Mehrere Planer
In Ihrer Umgebung können mehrere Airflow-Planer gleichzeitig ausgeführt werden:
- Sie können die Anzahl der Planer für Ihre Umgebung festlegen und jederzeit anpassen.
- Managed Airflow skaliert die Anzahl der Planer in der Umgebung nicht automatisch.
Weitere Informationen zum Konfigurieren der Anzahl der Planer für Ihre Umgebung finden Sie unter Umgebungen skalieren.
Speicherplatz der Datenbank
Der Speicherplatz für die Airflow-Datenbank wird automatisch an den Bedarf angepasst.