Cotas e limites do sistema para o Lakehouse sem fronteiras

Os recursos do Lakehouse sem fronteiras têm cotas configuráveis e limites de sistema fixos para ajudar a controlar o consumo de recursos e manter a estabilidade do serviço. As cotas definem alocações de referência que podem ser ajustadas ao solicitar um aumento ou usar o ajustador de cotas, enquanto os limites do sistema são limites operacionais fixos que não podem ser alterados.

Para saber como as cotas funcionam no nível do projeto do Google Cloud e como acompanhar o consumo, consulte a visão geral das cotas do Cloud.

Receber nomes de métricas de cota e limite do sistema

As cotas e os limites do sistema têm dois tipos de nomes: nomes de exibição e nomes de métricas. Os nomes de exibição têm espaços e letras maiúsculas que facilitam a leitura para humanos. Os nomes de métricas geralmente são minúsculos e delimitados por sublinhados em vez de espaços. O formato exato depende do serviço.

As instruções a seguir mostram como receber nomes de métricas para cotas e limites do sistema usando o console do Google Cloud ou a Google Cloud CLI.

Console

  1. No console do Google Cloud , acesse a página Gerenciamento de Identidade e Acesso (IAM) e administrador > Cotas e limites do sistema:

    Acesse "Cotas e limites do sistema

    A tabela nesta página mostra cotas e limites do sistema que têm uso ou valores ajustados, além de uma entrada de referência para outras cotas. A entrada de referência tem a palavra "default" entre parênteses no final da lista na coluna Nome. Por exemplo, SetIAM Policy requests per minute per region (default) é a entrada de referência para a cota SetIamPolicyRequestsPerMinutePerProject.

  2. Se a coluna Métrica não aparecer, siga estas etapas.

    1. Clique em Opções de exibição de colunas.
    2. Selecione Métrica.
    3. Clique em OK. A coluna Métrica aparece na tabela.

    A coluna Métrica mostra os nomes das métricas. Para filtrar os resultados, insira um nome ou valor de propriedade no campo ao lado de Filtro.

gcloud

Para receber os nomes das métricas de um serviço usando a CLI gcloud, execute o comando quotas info list. Para pular linhas que não listam nomes de métricas, transmita a saída para um comando como grep com metric: como o termo de pesquisa ou use a flag --format da CLI gcloud:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Substitua:

  • PROJECT_ID_OR_NUMBER: o ID ou o número do projeto.
  • SERVICE_NAME: o nome do serviço com as métricas de cota que você quer ver. Por exemplo, o nome do serviço do Compute Engine é compute.googleapis.com. Inclua a parte googleapis.com do nome do serviço.

Solicitar aumento de cota

Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar ajuste de cota.

Cotas

As cotas a seguir se aplicam ao Lakehouse:

Catálogo do ambiente de execução do Lakehouse

Os seguintes limites se aplicam ao catálogo do ambiente de execução do Lakehouse:

Limite Padrão Observações
Modificações da tabela por dia 1.500 modificações

Seu projeto pode fazer até 1.500 modificações por tabela por dia. Um job de carregamento, job de cópia ou job de consulta que anexa ou substitui dados de tabela conta como uma modificação na tabela. Não é possível alterar esse limite.

As instruções DML são excluídas e não são contabilizadas no número de modificações de tabela por dia.

Os dados de streaming são excluídos e não são contabilizados no número de modificações de tabela por dia.
Taxa máxima de operações de atualização de metadados de tabela por tabela 5 operações por 10 segundos Seu projeto pode fazer até cinco operações de atualização de metadados de tabela a cada 10 segundos por tabela. Esse limite se aplica a todas as operações de atualização de metadados da tabela, realizadas ao: Esse limite inclui o total combinado de todos os jobs de carregamento, jobs de cópia e jobs de consulta que anexam ou substituem uma tabela de destino ou que usam a instrução DML DELETE, INSERT, MERGE, TRUNCATE TABLE ou UPDATE para gravar dados em uma tabela. Observe que, embora as instruções DML sejam contabilizadas nesse limite, elas não estarão sujeitas a ele se ele for atingido. As operações DML têm limites de taxa dedicados.

Se você exceder esse limite, receberá uma mensagem de erro como Exceeded rate limits: too many table update operations for this table. Esse erro é transitório; tente novamente com uma espera exponencial.

Para identificar as operações que contam para esse limite, é possível inspecionar seus registros. Consulte Resolver erros de cota para saber como diagnosticar e resolver esse erro.

Número máximo de colunas por tabela 10.000 colunas Cada definição de tabela, resultado da consulta ou visualização pode ter até 10.000 colunas. Isso inclui colunas aninhadas e repetidas.

Acesso a dados entre nuvens

Cota Valor
Número total máximo de namespaces em um catálogo federado 100 namespaces
Número máximo de tabelas por namespace em um catálogo federado 300 tabelas por namespace
Número total máximo de tabelas em um catálogo federado 10.000 tabelas
Número máximo de filtros de namespace em um catálogo federado 16 filtros de namespace

Limites do sistema

A tabela a seguir lista os limites do sistema que se aplicam ao Lakehouse e o valor de cada limite:

Limite do sistema Valor
Número máximo de tabelas do Apache Iceberg gerenciadas pelo Lakehouse por bucket do Cloud Storage que uma verificação de descoberta aceita 1.000 tabelas por bucket