Neste documento, listamos as cotas que se aplicam ao Knowledge Catalog (antigo Dataplex Universal Catalog).
OGoogle Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud .
- Restringe o consumo desses recursos.
- Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Saiba mais em Visão geral das cotas do Cloud.
Também há limites de sistemas nos recursos do Knowledge Catalog. Os limites do sistema não podem ser alterados.
O Knowledge Catalog aplica cotas ao número de solicitações de API durante um período específico e ao número de recursos que podem ser criados em um projeto. As cotas protegem você contra picos de uso imprevistos e serviços sobrecarregados. Saiba mais sobre por que as cotas são aplicadas.
Suas necessidades de cota podem aumentar quanto mais você usar o Knowledge Catalog. Se uma cota estiver abaixo das suas necessidades ou se você espera um aumento no uso, solicite um aumento de cota com antecedência.
Entender os tipos de solicitação de API
As solicitações de API em vários recursos do Knowledge Catalog, como gerenciamento de recursos, metadados, tarefas e verificações de dados, são categorizadas em buckets genéricos para gerenciar o uso e a proteção do serviço.
Solicitações de leitura
As solicitações de leitura são operações projetadas para recuperar informações sobre recursos, metadados ou histórico de execução existentes sem modificar nenhuma configuração ou estado. Essas operações não são mutáveis e não acionam novos jobs de processamento.
As operações de solicitação de leitura incluem Get, List e Describe. Por exemplo,
visualizar a definição de uma verificação de dados ou o status de um job de verificação é uma solicitação
de leitura.
Solicitações de gravação
As solicitações de gravação incluem todas as operações que criam, atualizam ou excluem definições de recursos, bem como aquelas que modificam políticas de segurança. São operações que alteram o estado do ambiente.
As operações de solicitação de gravação incluem Create, Update, Delete, Cancel e
SetIamPolicy. Por exemplo, configurar uma verificação de qualidade de dados ou atualizar uma verificação do perfil de dados é uma solicitação de gravação.
Executar solicitações
As solicitações de execução se referem especificamente ao acionamento da execução ativa de um recurso pré-configurado. Ao contrário de uma solicitação de gravação (que pode criar uma programação recorrente), uma solicitação de execução geralmente é usada para a execução sob demanda da lógica configurada.
Por exemplo, iniciar manualmente uma execução de verificação de dados é uma solicitação de execução.
Cotas para solicitações de API do Dataplex
A API Dataplex aplica cotas para o gerenciamento de recursos do Knowledge Catalog e solicitações de pesquisa em diferentes níveis, independentemente da origem. Isso inclui as solicitações originadas diretamente de chamadas de API, bibliotecas de cliente, Google Cloud CLI e console do Google Cloud .
As cotas a seguir se aplicam às solicitações do Knowledge Catalog:
| Cota | Padrão |
|---|---|
| Solicitações de leitura de entradas e aspectos por projeto, por região e por minuto | 6000 |
| Solicitações de gravação de entradas e aspectos por projeto, por região e por minuto | 1500 |
| Solicitações de leitura para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário e por minuto | 100 |
| Solicitações de leitura para tipos de aspecto, tipos de entrada e grupos de entrada por projeto e por minuto | 200 |
| Solicitações de gravação para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário e por minuto | 10 |
| Solicitações de gravação para tipos de aspecto, tipos de entrada e grupos de entrada por projeto por minuto | 20 |
| Solicitações de pesquisa por projeto, por usuário e por minuto | 900 |
| Solicitações de pesquisa por projeto e por minuto | 1200 |
| Solicitações de pesquisa por organização por minuto | 2400 |
| Solicitações de pesquisa por organização por dia | 345600 |
| Solicitações de leitura para jobs de metadados por projeto, por região e por minuto | 400 |
| Solicitações de leitura para jobs de metadados por projeto, por usuário, por região e por minuto | 200 |
| Solicitações de gravação para jobs de metadados por projeto, por região e por minuto | 20 |
| Solicitações de gravação para jobs de metadados por projeto, por usuário, por região e por minuto | 10 |
| Solicitações de leitura para verificações de dados por projeto, por região e por minuto | 1200 |
| Solicitações de leitura para verificações de dados por projeto, por usuário, por região e por minuto | 600 |
| Solicitações de gravação para verificações de dados por projeto, por região e por minuto | 200 |
| Solicitações de gravação para verificações de dados por projeto, por usuário, por região e por minuto | 100 |
| Executar solicitações de verificação de dados por projeto, por região e por minuto | 60 |
| Executar solicitações de verificação de dados por projeto, por usuário, por região e por minuto | 30 |
| Total diário de execuções de verificações de perfil de dados para dados não estruturados em tabelas de objetos do BigQuery por projeto | 140 |
| Quantidade de metadados exportados por jobs de exportação de metadados, por organização e por dia | 10 GB |
|
Quantidade de metadados verificados para exportação por jobs de exportação de metadados, por organização por dia Essa cota avalia o volume total de metadados que existem na organização, nos projetos ou nos grupos de entrada que estão no escopo do job de exportação de metadados. |
100 GB |
Para cada solicitação do Knowledge Catalog listada na tabela a seguir, a cota é aplicada nos níveis por projeto e por projeto por usuário.
| Cota | Exemplos |
|---|---|
| Solicitações de leitura para gerenciamento de recursos | Receber um lake, listar zonas |
| Solicitações de gravação para gerenciamento de recursos | Criar um lake, excluir um recurso |
| Solicitações GET para metadados | Receber uma entidade, receber uma partição |
| Solicitações de lista para metadados | Listar entidades, listar partições |
| Solicitações de gravação de metadados | Atualizar uma entidade, excluir uma partição |
| Ler solicitações de recursos de tarefa e job | Receber uma tarefa, listar jobs |
| Solicitações de gravação para recursos de tarefas e jobs | Criar uma tarefa, cancelar um job |
| Definir solicitações de política do IAM | Definir uma política do IAM. |
Cotas para solicitações de API do Data Lineage
A API Data Lineage aplica cotas para o seguinte:
- As solicitações de leitura que retornam apenas os dados
- Solicitações de gravação que criam ou alteram os dados
- Criar linhagem aberta
As cotas a seguir se aplicam às solicitações de linhagem de dados:
| Cota | Valor padrão |
|---|---|
| Solicitações de leitura por projeto, por usuário, por região e por minuto | 1000 |
| Solicitações de gravação por projeto, por usuário, por região e por minuto | 6000 |
| Solicitações do Open Lineage por projeto, por usuário, por região e por minuto | 3000 |
Cotas para solicitações de API de produtos de dados
A API Dataplex aplica limites de taxa em operações de metadados e solicitações de ciclo de vida para produtos e recursos de dados. Esses limites se aplicam independentemente de as solicitações serem originadas do console do Google Cloud , da Google Cloud CLI, de bibliotecas de cliente ou de chamadas de API diretas.
As cotas a seguir se aplicam às solicitações de produtos e recursos de dados:
| Cota | Valor padrão |
|---|---|
| Solicitações de leitura de produtos de dados por projeto, por região e por minuto | 500 |
| Solicitações de leitura de produtos de dados por projeto, por usuário, por região e por minuto | 250 |
| Criar e excluir solicitações de produtos de dados por projeto, por região e por minuto | 250 |
| Criar e excluir solicitações de produtos de dados por projeto, por usuário, por região e por minuto | 125 |
| Solicitações de atualização de produtos de dados por projeto e por minuto | 10 |
| Solicitações de atualização de produtos de dados por projeto, por usuário e por minuto | 5 |
| Solicitações de leitura de recursos de dados por projeto, por região e por minuto | 500 |
| Solicitações de leitura de recursos de dados por projeto, por usuário, por região e por minuto | 250 |
| Solicitações de gravação de recursos de dados por projeto, por região e por minuto | 30 |
| Solicitações de gravação para recursos de dados por projeto, por usuário, por região e por minuto | 15 |
Cotas e limites para tarefas de enriquecimento do Knowledge Studio
A API Dataplex aplica cotas de taxa e recursos em tarefas de enriquecimento do Knowledge Studio (recursos AgentTask) e execuções de tarefas (recursos AgentRun).
As cotas a seguir se aplicam às tarefas de enriquecimento do Knowledge Studio:
| Cota | Valor padrão |
|---|---|
Solicitações de leitura para recursos de tarefas de enriquecimento (como Get e
List para tarefas e execuções) por projeto, por região e por minuto |
1200 |
Solicitações de gravação para recursos de tarefa de enriquecimento (como Create,
Update e Delete) por projeto, por região e por
minuto |
60 |
| Executar solicitações de recursos de tarefas de enriquecimento por projeto, por região e por minuto | 20 |
Número máximo de tarefas de enriquecimento (recursos AgentTask) por
projeto e região |
100 |
Cotas para recursos
A cota de recursos é aplicada por projeto para os seguintes tipos de recursos: lake, zona, recurso, tarefa on demand, tarefa recorrente. Verifique o uso atual da cota do Knowledge Catalog na página Cotas no console do Google Cloud .
Solicitar aumento de cota
No Google Cloud console, acesse a página Cotas.
Selecione a cota que você quer modificar.
Clique em Mais ações > Editar cota.
Insira o novo valor da cota e uma descrição da solicitação.
Clique em Próxima.
Insira os detalhes de contato.
Clique em Enviar solicitação.
Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar ajuste de cota.
Dependências de cota
O uso do Knowledge Catalog pode envolver outros produtos do Google Cloud . Por exemplo, a descoberta de dados requer a invocação de APIs do Cloud Storage ou do BigQuery para interagir com os recursos subjacentes. Esses produtos têm cotas para envolvidos no projeto, que incluem cotas que se aplicam ao uso do Knowledge Catalog.
Páginas de cotas de outros produtos que você pode usar com o Knowledge Catalog:
Esta não é uma lista completa.
Limites
Os seguintes limites se aplicam ao Knowledge Catalog:
| Limite | Valor |
|---|---|
| Tamanho de uma solicitação de entrada e aspectos (incluindo o aspecto do esquema) | 2 MB |
| Tamanho de um ID de entrada | 4.000 caracteres |
| Comprimento de um nome totalmente qualificado em uma entrada | 4.000 caracteres |
| Comprimento do nome de exibição da origem da entrada em uma entrada | 500 caracteres |
| Tamanho da descrição da origem da entrada em uma entrada | 2.000 caracteres |
| Duração do recurso de origem da entrada em uma entrada | 4.000 caracteres |
| Tamanho do sistema de origem da entrada em uma entrada | 64 caracteres |
| Tamanho da plataforma de origem em uma entrada | 64 caracteres |
| Tamanho dos rótulos de origem de uma entrada | 128 caracteres para cada chave e valor |
| Tamanho do conteúdo JSON em um aspecto (exceto aspectos de esquema e perfil de dados) | 120 KB |
| Tamanho do conteúdo JSON em um aspecto do perfil de dados | 1 MB |
| Tamanho total de uma entrada | 5 MB |
| Número máximo de aspectos em uma entrada | 10.000 |
| Tamanho do nome de exibição do tipo de entrada, do tipo de aspecto e do grupo de entrada | 256 |
| Comprimento da descrição do tipo de entrada, do tipo de aspecto e do grupo de entrada | 1024 |
| Tamanho do nome do campo em um modelo de tipo de aspecto | 63 |
| Número máximo de tipos de aspecto obrigatórios em um tipo de entrada | 20 |
| Número máximo de valores de tipo enumerado em um modelo de tipo de aspecto | 1024 |
| Número máximo de itens nos resultados da pesquisa do Knowledge Catalog | 500 (modo de pesquisa somente por palavra-chave no console do Google Cloud ou
semanticSearch=false ao usar a API)100 (todos os outros casos de pesquisa) |
| Número máximo de verificações de dados por projeto e região | 1000 |
| Número máximo de produtos de dados por projeto por região | 200 |
| Número máximo de recursos de dados por produto de dados | 50 |
| Número máximo de tags de política por taxonomia | 100 |