Cotas e limites

Este documento lista as cotas e os limites do sistema que se aplicam ao Serviço gerenciado para Apache Airflow.

  • As cotas têm valores definidos por padrão, mas geralmente é possível solicitar ajustes.
  • Os limites do sistema são valores fixos que não podem ser alterados.

OGoogle Cloud usa cotas para garantir a distribuição justa e reduzir sobrecargas no uso e na disponibilidade dos recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .

O sistema de cotas do Cloud faz o seguinte:

Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.

As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.

Saiba mais em Visão geral das cotas do Cloud.

Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar ajuste de cota.

Também há limites de sistemas nos recursos do Airflow Gerenciado. Os limites do sistema não podem ser alterados.

Cotas do Airflow Gerenciado

As cotas nesta seção se aplicam apenas à API Cloud Composer e às ferramentas que a utilizam:

  • Interface do Airflow Gerenciado no console Google Cloud
  • Comandos gcloud composer e gcloud beta composer
  • API REST do Airflow gerenciado
  • API RPC do Airflow Gerenciado
  • Terraform, para operações com ambientes do Airflow Gerenciado

As cotas nesta seção não se aplicam a nenhum serviço usado nos seus DAGs do Airflow. Esses serviços usam cotas próprias.

O Airflow Gerenciado tem as seguintes cotas de API:

Nome da cota Limite
Solicitações de leitura por projeto 1.000 unidades de cota por minuto
Solicitações de gravação por projeto 25.000 unidades de cota por dia
Solicitações de gravação por projeto 1.500 unidades de cota por minuto
Salvar solicitações de snapshot por projeto 5.000 unidades de cota por dia
Salvar solicitações de snapshot por projeto 250 unidades de cota por minuto
Salvar solicitações de snapshot por projeto e ambiente 2.600 unidades de cota por dia
Carregar solicitações de snapshot por projeto 2.500 unidades de cota por dia
Carregar solicitações de snapshot por projeto 150 cotas por minuto
Solicitações de carregamento de snapshots por projeto e ambiente 700 unidades de cota por dia

As chamadas da API Composer têm os seguintes custos, em unidades de cota:

Operação Custo em unidades de cota Tipo de solicitação
Todas as operações 1 Ler
environments.create 100 Gravação
environments.patch 100 Gravação
environments.delete 100 Gravação
environments.databaseFailover 100 Gravação
environments.restartWebServer 100 Gravação
environments.checkUpgrade 100 Gravação
environments.executeAirflowCommand 25 Gravação
environments.stopAirflowCommand 25 Gravação
environments.saveSnapshot 50 Salvar snapshot
environments.loadSnapshot 50 Carregar snapshot

Exemplos de cálculo de cota

  • Uma solicitação environments.create consome 100 unidades de cota das cotas de gravação.

    Há duas cotas para solicitações de gravação:

    • Solicitações de gravação por projeto por dia
    • Solicitações de gravação por projeto por minuto

    Essa operação consome 100 unidades de cota de cada cota.

    Se você executar uma solicitação environments.restartWebServer depois, outras 100 unidades de cota serão consumidas das mesmas cotas, porque environments.restartWebServer compartilha cotas com a solicitação environments.create.

  • Uma solicitação environments.saveSnapshot consome 50 unidades de cota de três cotas:

    • Solicitações de salvar snapshot por projeto e por dia
    • Solicitações de salvar snapshot por projeto por minuto
    • Salvar solicitações de snapshot por projeto, ambiente e dia

    Essas três cotas limitam o número máximo de solicitações de environments.saveSnapshot. Cada um faz isso de uma maneira diferente.

    O limite da cota de Solicitações de salvar snapshot por projeto por dia é de 2.500 unidades de cota. É possível executar até 50 solicitações environments.saveSnapshot por dia no seu projeto.

    O limite de cota de Solicitações de salvar snapshot por projeto por minuto é de 150 unidades de cota. Em um minuto, você pode executar apenas até três solicitações environments.saveSnapshot no seu projeto.

    Por fim, o limite de cota de Salvar solicitações de snapshot por projeto, ambiente e dia é de 750 unidades de cota. É possível executar até 15 solicitações de environments.saveSnapshot por dia em um único ambiente. Se todas as unidades de cota forem consumidas em um ambiente específico, ainda será possível executar solicitações environments.saveSnapshot para outros ambientes no seu projeto.

Cotas para outros serviços

O Airflow gerenciado usa outros serviços do Google Cloud . Esses serviços têm cotas de nível de projeto, que são aplicadas quando você usa o Airflow Gerenciado.

Por exemplo, as cotas do Cloud Storage se aplicam a todos os buckets associados a ambientes no seu projeto. Como outro exemplo, os clusters do ambiente usam o Google Kubernetes Engine. Portanto, as cotas do GKE se aplicam a todos os clusters associados a ambientes no seu projeto.

Cotas para serviços usados pelo Airflow gerenciado

Os seguintes serviços são usados pelo Airflow Gerenciado. Esses serviços têm limites de cota próprios:

Cotas para serviços opcionais

É possível usar operadores do Airflow com serviços do Google Cloud . Qualquer serviço usado em um DAG está sujeito às cotas dele.