Cotas e limites do sistema para o Lakehouse sem fronteiras

Neste documento, listamos as cotas e limites que se aplicam ao Lakehouse.

  • As cotas têm valores definidos por padrão, mas geralmente é possível solicitar ajustes.
  • Os limites do sistema são valores fixos que não podem ser alterados.

OGoogle Cloud usa cotas para garantir a distribuição justa e reduzir sobrecargas no uso e na disponibilidade dos recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .

O sistema de cotas do Cloud faz o seguinte:

Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.

As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.

Saiba mais em Visão geral das cotas do Cloud.

Também há limites de sistemas nos recursos do Lakehouse. Os limites do sistema não podem ser alterados.

Receber nomes de métricas de cota e limite do sistema

As cotas e os limites do sistema têm dois tipos de nomes: nomes de exibição e nomes de métricas. Os nomes de exibição têm espaços e letras maiúsculas que facilitam a leitura para humanos. Os nomes de métricas geralmente são minúsculos e delimitados por sublinhados em vez de espaços. O formato exato depende do serviço.

As instruções a seguir mostram como receber nomes de métricas de cotas e limites do sistema usando o Google Cloud console ou a Google Cloud CLI.

Console

  1. No Google Cloud console do, acesse a página IAM e administrador> Cotas e limites do sistema:

    Acesse Cotas e limites do sistema

    A tabela nesta página mostra cotas e limites do sistema que têm uso ou valores ajustados, além de uma entrada de referência para outras cotas. A entrada de referência tem a palavra "default" entre parênteses no final das informações do produto na coluna Nome. Por exemplo, SetIAM Policy requests per minute per region (default) é a entrada de referência para a cota SetIamPolicyRequestsPerMinutePerProject.

  2. Se a coluna Métrica não aparecer, siga estas etapas.

    1. Clique em Opções de exibição de coluna.
    2. Selecione Métrica.
    3. Clique em OK. A coluna Métrica aparece na tabela.

    A coluna Métrica mostra os nomes das métricas. Para filtrar os resultados, insira um nome ou valor de propriedade no campo ao lado de Filtro.

gcloud

Para receber os nomes das métricas de um serviço usando a CLI gcloud, execute o comando quotas info list. Para pular linhas que não listam nomes de métricas, transmita a saída para um comando como grep com metric: como o termo de pesquisa ou use a CLI gcloud --format flag:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Substitua:

  • PROJECT_ID_OR_NUMBER: o ID ou o número do projeto.
  • SERVICE_NAME: o nome do serviço com as métricas de cota que você quer ver. Por exemplo, o nome do serviço do Compute Engine é compute.googleapis.com. Inclua a parte googleapis.com do nome do serviço.

Solicitar aumento de cota

Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar ajuste de cota.

Cotas

As cotas a seguir se aplicam ao Lakehouse:

Catálogo de ambientes de execução do Lakehouse

Os limites a seguir se aplicam ao catálogo de ambientes de execução do Lakehouse:

Limite Padrão Observações
Modificações da tabela por dia 1.500 modificações

Seu projeto pode fazer até 1.500 modificações por tabela por dia. Um job de carregamento, job de cópia, ou job de consulta que anexe ou substitua dados da tabela conta como uma modificação na tabela. Não é possível alterar esse limite.

As instruções DML são excluídas e não são contabilizadas no número de modificações de tabela por dia.

Os dados de streaming são excluídos e não são contabilizados no número de modificações de tabela por dia.

Taxa máxima de operações de atualização de metadados de tabela por tabela 5 operações por 10 segundos Seu projeto pode fazer até cinco operações de atualização de metadados de tabela a cada 10 segundos por tabela. Esse limite se aplica a todas as operações de atualização de metadados da tabela, realizadas ao: Esse limite inclui o total combinado de todos os jobs de carregamento, jobs de cópia e jobs de consulta que anexam ou substituem uma tabela de destino ou que usam a instrução DML DELETE, INSERT, MERGE, TRUNCATE TABLE ou UPDATE para gravar dados em uma tabela. Observe que, embora as instruções DML sejam contabilizadas nesse limite, elas não estarão sujeitas a ele se ele for atingido. As operações DML têm limites de taxa dedicados.

Se você exceder esse limite, receberá uma mensagem de erro como Exceeded rate limits: too many table update operations for this table. Esse erro é transitório; tente novamente com uma espera exponencial.

Para identificar as operações que contam para esse limite, é possível inspecionar seus registros. Consulte Resolver erros de cota para saber como diagnosticar e resolver esse erro.

Número máximo de colunas por tabela 10.000 colunas Cada definição de tabela, resultado da consulta ou visualização pode ter até 10.000 colunas. Isso inclui colunas aninhadas e repetidas.

Acesso aos dados entre nuvens

Quota Valor
Número máximo total de namespaces em um catálogo federado 100 namespaces
Número máximo de tabelas por namespace em um catálogo federado 300 tabelas por namespace
Número máximo total de tabelas em um catálogo federado 10.000 tabelas
Número máximo de filtros de namespace em um catálogo federado 16 filtros de namespace

Limites do sistema

A tabela a seguir lista os limites do sistema que se aplicam ao Lakehouse e o valor de cada limite do sistema:

Limite do sistema Valor
Número máximo de tabelas do Apache Iceberg gerenciadas pelo Lakehouse por bucket do Cloud Storage com suporte a uma verificação de descoberta 1.000 tabelas por bucket