Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Auf dieser Seite wird beschrieben, wie die Umgebungsskalierung funktioniert.
Weitere Seiten zur Skalierung:
- Eine Anleitung zur Auswahl der optimalen Skalierungs- und Leistungsparameter für Ihre Umgebung finden Sie unter Umgebungsleistung und ‑kosten optimieren.
- Informationen zum Skalieren Ihrer Umgebungen finden Sie unter Umgebungen skalieren.
Autoscaling-Umgebungen
Cloud Composer-Umgebungen werden automatisch entsprechend den Anforderungen Ihrer ausgeführten DAGs und Aufgaben skaliert:
- Wenn Ihre Umgebung stark ausgelastet ist, erhöht Cloud Composer automatisch die Anzahl der Worker in Ihrer Umgebung.
- Wenn Ihre Umgebung einige ihrer Worker nicht verwendet, werden diese Worker entfernt, um Umgebungsressourcen und Kosten zu sparen.
- Sie können die Mindest- und Höchstanzahl an Workern für Ihre Umgebung festlegen. Cloud Composer skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.
Die Anzahl der Worker wird basierend auf dem Messwert Skalierungsfaktorziel angepasst. Dieser Messwert wird basierend auf folgenden Kriterien berechnet:
- Aktuelle Anzahl der Worker
- Anzahl der Celery-Tasks in der Celery-Warteschlange, die keinem Worker zugewiesen sind
- Anzahl inaktiver Worker
celery.worker_concurrency-Airflow-Konfigurationsoption
Cloud Composer-Autoscaling verwendet drei verschiedene von GKE bereitgestellte Autoscalings:
Cloud Composer konfiguriert diese Autoscalings im Cluster der Umgebung. Dadurch werden automatisch die Anzahl der Knoten im Cluster, der Maschinentyp und die Anzahl der Worker skaliert.
Skalierungs- und Leistungsparameter
Neben Autoscaling können Sie die Skalierungs- und Leistungsparameter Ihrer Umgebung steuern, indem Sie die CPU-, Arbeitsspeicher- und Laufwerklimits von Workern, Planern, DAG-Prozessoren, Triggern und dem Webserver anpassen. Dadurch können Sie Ihre Umgebung zusätzlich zur horizontalen Skalierung, die von der Autoscaling-Funktion bereitgestellt wird, vertikal skalieren. Sie können die Skalierungs- und Leistungsparameter jederzeit anpassen.
Der Leistungsparameter Umgebungsgröße Ihrer Umgebung steuert die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur, die die Airflow-Datenbank enthält. Wenn Sie eine große Anzahl von DAGs und Aufgaben mit höherer Infrastrukturleistung ausführen möchten, sollten Sie für die Umgebungsgröße einen größeren Wert auswählen. Wenn Sie die Umgebungsgröße erhöhen, kann Ihre Umgebung beispielsweise mehr Airflow-Aufgabenprotokolleinträge mit minimaler Verzögerung verarbeiten.
Mehrere Planer
In Ihrer Umgebung können mehrere Airflow-Planer und DAG-Prozessoren gleichzeitig ausgeführt werden:
- Sie können die Anzahl der Planer und DAG-Prozessoren für Ihre Umgebung festlegen und jederzeit anpassen.
- Cloud Composer skaliert die Anzahl der Planer oder DAG-Prozessoren in Ihrer Umgebung nicht automatisch.
Weitere Informationen zum Konfigurieren der Anzahl der Planer und DAG-Prozessoren für Ihre Umgebung finden Sie unter Umgebungen skalieren.
Speicherplatz der Datenbank
Der Speicherplatz für die Airflow-Datenbank wird automatisch an den Bedarf angepasst.