Quote e limiti

Questo documento elenca le quote e i limiti di sistema che si applicano a Managed Service per Apache Airflow.

  • Le quote hanno valori predefiniti, ma in genere puoi richiedere degli adeguamenti.
  • I limiti di sistema sono valori fissi che non possono essere modificati.

Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.

Il sistema delle quote di Cloud esegue le seguenti operazioni:

Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.

In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.

Per saperne di più, consulta la Panoramica delle quote di Cloud.

Per modificare la maggior parte delle quote, utilizza la Google Cloud console. Per ulteriori informazioni, consulta Richiedi un aggiustamento delle quote.

Esistono anche limiti di sistema per le risorse Managed Airflow. I limiti di sistema non possono essere modificati.

Quote di Managed Airflow

Le quote in questa sezione si applicano solo all'API Cloud Composer e agli strumenti che utilizzano l'API Cloud Composer:

  • Interfaccia Managed Airflow in Google Cloud console
  • Comandi gcloud composer e gcloud beta composer
  • API REST Managed Airflow
  • API RPC Managed Airflow
  • Terraform, per le operazioni con gli ambienti Managed Airflow

Le quote in questa sezione non si applicano ai servizi utilizzati nei DAG di Airflow. Questi servizi utilizzano le proprie quote.

Managed Airflow ha le seguenti quote API:

Nome quota Limite
Richieste di lettura per progetto 1000 unità di quota al minuto
Richieste di scrittura per progetto 25.000 unità di quota al giorno
Richieste di scrittura per progetto 1500 unità di quota al minuto
Richieste di salvataggio di snapshot per progetto 5000 unità di quota al giorno
Richieste di salvataggio di snapshot per progetto 250 unità di quota al minuto
Richieste di salvataggio di snapshot per progetto per ambiente 2600 unità di quota al giorno
Richieste di caricamento di snapshot per progetto 2500 unità di quota al giorno
Richieste di caricamento di snapshot per progetto 150 unità di quota al minuto
Richieste di caricamento di snapshot per progetto per ambiente 700 unità di quota al giorno

Le chiamate API Cloud Composer hanno i seguenti costi, in unità di quota:

Operazione Costo in unità di quota Tipo di richiesta
Tutte le operazioni 1 Leggi
environments.create 100 Scrivi
environments.patch 100 Scrivi
environments.delete 100 Scrivi
environments.databaseFailover 100 Scrivi
environments.restartWebServer 100 Scrivi
environments.checkUpgrade 100 Scrivi
environments.executeAirflowCommand 25 Scrivi
environments.stopAirflowCommand 25 Scrivi
environments.saveSnapshot 50 Salva snapshot
environments.loadSnapshot 50 Carica snapshot

Esempi di calcolo delle quote

  • Una richiesta environments.create consuma 100 unità di quota dalle quote di scrittura.

    Esistono due quote di questo tipo per le richieste di scrittura:

    • Richieste di scrittura per progetto al giorno
    • Richieste di scrittura per progetto al minuto

    Questa operazione consuma 100 unità di quota da ogni quota.

    Se in seguito esegui una richiesta environments.restartWebServer, vengono consumate altre 100 unità di quota dalle stesse quote, perché environments.restartWebServer condivide le quote con la richiesta environments.create.

  • Una richiesta environments.saveSnapshot consuma 50 unità di quota da tre quote:

    • Richieste di salvataggio di snapshot per progetto al giorno
    • Richieste di salvataggio di snapshot per progetto al minuto
    • Richieste di salvataggio di snapshot per progetto per ambiente al giorno

    Queste tre quote limitano il numero massimo di richieste environments.saveSnapshot. Ognuna lo fa in modo diverso.

    Il limite della quota Richieste di salvataggio di snapshot per progetto al giorno è di 2500 unità di quota. Ogni giorno puoi eseguire fino a 50 richieste environments.saveSnapshot nel tuo progetto.

    Il limite della quota Richieste di salvataggio di snapshot per progetto al minuto è di 150 unità di quota. In un minuto, puoi eseguire solo fino a tre richieste environments.saveSnapshot nel tuo progetto.

    Infine, il limite della quota Richieste di salvataggio di snapshot per progetto per ambiente al giorno è di 750 unità di quota. Ogni giorno puoi eseguire fino a 15 richieste environments.saveSnapshot per un singolo ambiente. Se tutte le unità di quota vengono consumate per un ambiente specifico, puoi comunque eseguire richieste environments.saveSnapshot per altri ambienti nel tuo progetto.

Quote per risorse e istanze

Le seguenti quote si applicano alle risorse e alle istanze utilizzate da un ambiente Managed Airflow:

Versione Risorsa Limite quota
Managed Airflow (terza generazione) Numero totale di vCPU utilizzate da tutti i componenti dell'ambiente 250 vCPU
Managed Airflow (terza generazione) Numero totale di istanze KubernetesPodOperator e Kubernetes Executor attive 50 istanze

Quote per altri servizi

Managed Airflow utilizza altri Google Cloud servizi. Questi servizi hanno quote a livello di progetto che si applicano quando utilizzi Managed Airflow.

Ad esempio, le quote di Cloud Storage si applicano a tutti i bucket associati agli ambienti del tuo progetto. Un altro esempio: i cluster dell'ambiente utilizzano Google Kubernetes Engine, quindi le quote di GKE si applicano a tutti i cluster associati agli ambienti del tuo progetto.

Quote per i servizi utilizzati da Managed Airflow

I seguenti servizi vengono utilizzati da Managed Airflow. Questi servizi hanno i propri limiti di quota:

Quote per i servizi facoltativi

Puoi usare gli operatori Airflow con Google Cloud i servizi. Qualsiasi servizio utilizzato in un DAG è soggetto alle relative quote.