Um den Erfolg und die wachsende Präferenz der Kunden für OSS-Lösungen noch stärker zu berücksichtigen, wird Cloud Composer zu Managed Service for Apache Airflow weiterentwickelt. Durch diese Namensänderung wird das Verständnis der Kunden für unser Portfolio verbessert und gleichzeitig unser Engagement für das offenste Cloud-Ökosystem unterstrichen.

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Airflow-Datenbank bereinigen

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird erläutert, wie Sie die Airflow-Datenbank in Ihrer Umgebung verwalten.

Automatische Datenbankbereinigung mit einer Aufbewahrungsrichtlinie für Datenbanken

Sie können die automatische Datenbankbereinigung für Ihre Managed Airflow (Gen 3)-Umgebung konfigurieren, indem Sie eine Aufbewahrungsrichtlinie für Datenbanken festlegen. Nachdem Sie diese Richtlinie eingerichtet haben, werden Datensätze, die älter als ein bestimmter Zeitraum sind, täglich automatisch aus der Airflow-Datenbank entfernt. Weitere Informationen finden Sie unter Aufbewahrungsrichtlinie für Datenbanken konfigurieren.

Veraltete Bereinigungsverfahren

Bevor die Aufbewahrungsrichtlinie für Datenbanken in Managed Airflow verfügbar war, haben wir einen anderen Ansatz zur Automatisierung der Datenbankbereinigung empfohlen, nämlich eine DAG zur Datenbankbereinigung. Dieser Ansatz ist in Managed Airflow (Gen 3) veraltet. Diese DAG führt redundante Aufgaben aus. Sie können den Ressourcenverbrauch reduzieren, indem Sie sie entfernen und durch eine Aufbewahrungsrichtlinie für Datenbanken ersetzen.

Limits für die Datenbankgröße

Im Laufe der Zeit werden in der Airflow-Datenbank Ihrer Umgebung immer mehr Daten gespeichert. Diese Daten enthalten Informationen und Logs, die sich auf vergangene DAG-Ausführungen, Aufgaben und andere Airflow-Vorgänge beziehen.

Wenn die Airflow-Datenbank größer als 20 GB ist, können Sie Ihre Umgebung nicht auf eine neuere Version aktualisieren.
Wenn die Airflow-Datenbank größer als 20 GB ist, können keine Snapshots erstellt werden.

Datenbankleistung aufrechterhalten

Leistungsprobleme der Airflow-Datenbank können zu Problemen bei der DAG-Ausführung führen. Beobachten Sie die Statistiken zur CPU- und Arbeitsspeichernutzung der Datenbank. Wenn die CPU- und Speichernutzung sich den Limits nähert, ist die Datenbank überlastet und muss skaliert werden. Die Menge der für die Airflow-Datenbank verfügbaren Ressourcen wird durch das Attribut für die Größe Ihrer Umgebung gesteuert. Wenn Sie die Datenbank vertikal skalieren möchten ändern Sie die Umgebungsgröße in eine größere Stufe. Wenn Sie die Umgebungsgröße erhöhen, steigen die Kosten für Ihre Umgebung.
Wenn Sie den XCom-Mechanismus zum Übertragen von Dateien verwenden, müssen Sie sicherstellen, dass Sie ihn gemäß den Airflow-Richtlinien verwenden. Das Übertragen großer Dateien oder einer großen Anzahl von Dateien mit XCom wirkt sich auf die Leistung der Airflow-Datenbank aus und kann zu Fehlern beim Laden von Snapshots oder beim Aktualisieren Ihrer Umgebung führen. Verwenden Sie Alternativen wie Cloud Storage, um große Datenmengen zu übertragen.

Einträge für nicht verwendete DAGs entfernen

Sie können Datenbankeinträge für nicht verwendete DAGs entfernen. Dazu entfernen Sie DAGs aus der Airflow-UI.