Kontingente und Limits

In diesem Dokument sind die Kontingente und Systemlimits aufgeführt, die für Managed Service for Apache Airflow gelten.

  • Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern.
  • Systemlimits sind feste Werte, die nicht geändert werden können.

Google Cloud nutzt Kontingente, um für Fairness zu sorgen und Spitzen bei der Ressourcennutzung und ‑verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einerGoogle Cloud Ressource Ihr Google Cloud Projekt nutzen kann. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt nebenläufig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community derGoogle Cloud Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud Ressourcen.

Das Cloud-Kontingentsystem tut Folgendes:

Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie auszuführen versuchen, schlägt dann fehl.

Kontingente gelten in der Regel auf Google Cloud Projektebene. Die Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf das verfügbare Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.

Weitere Informationen finden Sie unter Cloud-Kontingente – Übersicht.

Die meisten Kontingente können Sie in der Google Cloud Console anpassen. Weitere Informationen finden Sie unter Kontingentanpassung anfordern.

Für Managed Airflow-Ressourcen gelten außerdem Systemlimits. Systemlimits können nicht geändert werden.

Managed Airflow-Kontingente

Die Kontingente in diesem Abschnitt gelten nur für die Cloud Composer API und Tools, die die Cloud Composer API verwenden:

  • Managed Airflow-Oberfläche in der Google Cloud Console
  • gcloud composer- und gcloud beta composer-Befehle
  • Managed Airflow REST API
  • Managed Airflow RPC API
  • Terraform für Vorgänge mit Managed Airflow-Umgebungen

Die Kontingente in diesem Abschnitt gelten nicht für Dienste, die Sie in Ihren Airflow-DAGs verwenden. Für diese Dienste gelten eigene Kontingente.

Für Managed Airflow gelten die folgenden API-Kontingente:

Kontingentname Limit
Leseanfragen pro Projekt 1.000 Kontingenteinheiten pro Minute
Schreibanfragen pro Projekt 25.000 Kontingenteinheiten pro Tag
Schreibanfragen pro Projekt 1.500 Kontingenteinheiten pro Minute
Anfragen zum Speichern von Snapshots pro Projekt 5.000 Kontingenteinheiten pro Tag
Anfragen zum Speichern von Snapshots pro Projekt 250 Kontingenteinheiten pro Minute
Anfragen zum Speichern von Snapshots pro Projekt und Umgebung 2.600 Kontingenteinheiten pro Tag
Anfragen zum Laden von Snapshots pro Projekt 2.500 Kontingenteinheiten pro Tag
Anfragen zum Laden von Snapshots pro Projekt 150 Kontingenteinheiten pro Minute
Anfragen zum Laden von Snapshots pro Projekt und Umgebung 700 Kontingenteinheiten pro Tag

Für Cloud Composer API-Aufrufe fallen die folgenden Kosten in Kontingenteinheiten an:

Vorgang Kosten in Kontingenteinheiten Art der Anfrage
Alle Vorgänge 1 Lesen
environments.create 100 Schreiben
environments.patch 100 Schreiben
environments.delete 100 Schreiben
environments.databaseFailover 100 Schreiben
environments.restartWebServer 100 Schreiben
environments.checkUpgrade 100 Schreiben
environments.executeAirflowCommand 25 Schreiben
environments.stopAirflowCommand 25 Schreiben
environments.saveSnapshot 50 Snapshot speichern
environments.loadSnapshot 50 Snapshot laden

Beispiele für die Kontingentberechnung

  • Eine environments.create-Anfrage verbraucht 100 Kontingenteinheiten aus den Schreibkontingenten.

    Es gibt zwei solche Kontingente für Schreibanfragen:

    • Schreibanfragen pro Projekt und Tag
    • Schreibanfragen pro Projekt und Minute

    Dieser Vorgang verbraucht 100 Kontingenteinheiten aus jedem Kontingent.

    Wenn Sie danach eine environments.restartWebServer-Anfrage ausführen, werden weitere 100 Kontingenteinheiten aus denselben Kontingenten verbraucht, da environments.restartWebServer Kontingente mit der environments.create-Anfrage gemeinsam nutzt.

  • Eine environments.saveSnapshot-Anfrage verbraucht 50 Kontingenteinheiten aus drei Kontingenten:

    • Anfragen zum Speichern von Snapshots pro Projekt und Tag
    • Anfragen zum Speichern von Snapshots pro Projekt und Minute
    • Anfragen zum Speichern von Snapshots pro Projekt, Umgebung und Tag

    Diese drei Kontingente begrenzen die maximale Anzahl von environments.saveSnapshot-Anfragen. Jedes auf eine andere Weise.

    Das Kontingentlimit für Anfragen zum Speichern von Snapshots pro Projekt und Tag beträgt 2.500 Kontingenteinheiten. Sie können jeden Tag bis zu 50 environments.saveSnapshot-Anfragen in Ihrem Projekt ausführen.

    Das Kontingentlimit für Anfragen zum Speichern von Snapshots pro Projekt und Minute beträgt 150 Kontingenteinheiten. In einer Minute können Sie nur bis zu drei environments.saveSnapshot-Anfragen in Ihrem Projekt ausführen.

    Das Kontingentlimit für Anfragen zum Speichern von Snapshots pro Projekt, Umgebung und Tag beträgt 750 Kontingenteinheiten. Sie können jeden Tag bis zu 15 environments.saveSnapshot-Anfragen für eine einzelne Umgebung ausführen. Wenn alle Kontingenteinheiten für eine bestimmte Umgebung verbraucht sind, können Sie weiterhin environments.saveSnapshot-Anfragen für andere Umgebungen in Ihrem Projekt ausführen.

Kontingente für Ressourcen und Instanzen

Die folgenden Kontingente gelten für Ressourcen und Instanzen, die von einer Managed Airflow-Umgebung verwendet werden:

Version Ressource Kontingentlimit
Managed Airflow (Gen 3) Gesamtzahl der vCPUs, die von allen Umgebungskomponenten verwendet werden 250 vCPUs
Managed Airflow (Gen 3) Gesamtzahl der aktiven KubernetesPodOperator- und Kubernetes Executor-Instanzen 50 Instanzen

Kontingente für andere Dienste

Managed Airflow verwendet andere Google Cloud Dienste. Für diese Dienste gelten Kontingente auf Projektebene, die bei der Verwendung von Managed Airflow angewendet werden.

Kontingente für Cloud Storage gelten beispielsweise für alle Buckets, die mit Umgebungen in Ihrem Projekt verknüpft sind. Ein weiteres Beispiel: Die Cluster der Umgebung verwenden Google Kubernetes Engine. Daher gelten Kontingente für GKE für alle Cluster, die mit Umgebungen in Ihrem Projekt verknüpft sind.

Kontingente für Dienste, die von Managed Airflow verwendet werden

Die folgenden Dienste werden von Managed Airflow verwendet. Für diese Dienste gelten eigene Kontingentlimits:

Kontingente für optionale Dienste

Sie können für Dienste Airflow-Operatoren verwenden Google Cloud . Für alle Dienste, die Sie in einem DAG verwenden, gelten die Kontingente des jeweiligen Dienstes.