Neste documento, listamos as cotas que se aplicam ao catálogo universal do Dataplex.
OGoogle Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud .
- Restringe o consumo desses recursos.
- Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Saiba mais em Visão geral das cotas do Cloud.
Também há limites de sistemas nos recursos do Dataplex Universal Catalog. Os limites do sistema não podem ser alterados.
O Dataplex Universal Catalog impõe cotas no número de solicitações de API durante um período específico e no número de recursos que podem ser criados em um projeto. As cotas protegem você de picos de uso imprevistos e serviços sobrecarregados. Saiba mais sobre por que as cotas são aplicadas.
Sua necessidade de cota pode aumentar à medida que você usa o Dataplex Universal Catalog. Se uma cota estiver abaixo das suas necessidades ou se você espera um aumento no uso, solicite um aumento de cota.
Cotas para solicitações da API Dataplex
A API Dataplex impõe cotas para solicitações de pesquisa e gerenciamento de recursos do Dataplex Universal Catalog em diferentes níveis, independente da origem. Isso inclui as solicitações originadas diretamente de chamadas de API, bibliotecas de cliente, Google Cloud CLI e Google Cloud console.
As cotas a seguir se aplicam às solicitações do Dataplex Universal Catalog:
| Cota | Padrão |
|---|---|
| Solicitações de leitura de entradas e aspectos por projeto, por região e por minuto | 6000 |
| Solicitações de gravação de entradas e aspectos por projeto, por região e por minuto | 1500 |
| Solicitações de leitura para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário e por minuto | 100 |
| Solicitações de leitura para tipos de aspectos, tipos de entradas e grupos de entradas por projeto e por minuto | 200 |
| Solicitações de gravação para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, usuário e minuto | 10 |
| Solicitações de gravação para tipos de aspecto, tipos de entrada e grupos de entrada por projeto por minuto | 20 |
| Solicitações de pesquisa por projeto, usuário e minuto | 900 |
| Solicitações de pesquisa por projeto por minuto | 1200 |
| Solicitações de pesquisa por organização por minuto | 2400 |
| Solicitações de pesquisa por organização por dia | 345600 |
| Solicitações de leitura para jobs de metadados por projeto, por região e por minuto | 400 |
| Solicitações de leitura para jobs de metadados por projeto, usuário, região e minuto | 200 |
| Solicitações de gravação para jobs de metadados por projeto, por região e por minuto | 20 |
| Solicitações de gravação para jobs de metadados por projeto, usuário, região e minuto | 10 |
| Quantidade de metadados exportados por jobs de exportação de metadados, por organização e por dia | 10 GB |
|
Quantidade de metadados verificados para exportação por jobs de exportação de metadados, por organização e por dia Essa cota avalia o volume total de metadados que existem na organização, nos projetos ou nos grupos de entradas no escopo do job de exportação de metadados. |
100 GB |
Para cada solicitação do Dataplex Universal Catalog listada na tabela a seguir, a cota é aplicada nos níveis por projeto e por projeto/usuário.
| Cota | Exemplos |
|---|---|
| Solicitações de leitura para gerenciamento de recursos | Receber um lake, listar zonas |
| Solicitações de gravação para gerenciamento de recursos | Criar um lake, excluir um recurso |
| Solicitações de metadados | Receber uma entidade ou uma partição |
| Solicitações de lista de metadados | Listar entidades, listar partições |
| Solicitações de gravação para metadados | Atualizar uma entidade, excluir uma partição |
| Ler solicitações de recursos de tarefa e job | Receber uma tarefa, listar jobs |
| Solicitações de gravação para recursos de tarefa e job | Criar uma tarefa, cancelar um job |
| Definir solicitações de política do IAM | Definir uma política do IAM. |
Cotas para solicitações da API Data Lineage
A API Data Lineage aplica cotas para o seguinte:
- Solicitações de leitura que retornam apenas os dados
- Escrever solicitações que criam ou mudam os dados
- Criar Open Lineage
As cotas a seguir se aplicam às solicitações de linhagem de dados:
| Cota | Valor padrão |
|---|---|
| Solicitações de leitura por projeto, por usuário, por região e por minuto | 1000 |
| Solicitações de gravação por projeto, usuário, região e minuto | 6000 |
| Solicitações do Open Lineage por projeto, usuário, região e minuto | 3000 |
Cotas para recursos
A cota de recursos é aplicada no nível do projeto para os seguintes tipos de recursos: lake, zona, recurso, tarefa sob demanda e tarefa recorrente. Verifique o uso atual da cota do Dataplex Universal Catalog na página Cotas do console Google Cloud .
Solicitar aumento de cota
No Google Cloud console, acesse a página Cotas.
Selecione a cota que você quer modificar.
Clique em Mais ações > Editar cota.
Insira o novo valor de cota e uma descrição da solicitação.
Clique em Próxima.
Insira os dados de contato.
Clique em Enviar solicitação.
Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar ajuste de cota.
Dependências de cota
Seu uso do Dataplex Universal Catalog pode envolver outros produtos do Google Cloud . Por exemplo, a descoberta de dados exige a invocação das APIs do Cloud Storage e/ou do BigQuery para interagir com os recursos subjacentes. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataplex Universal Catalog.
Páginas de cota de outros produtos que você pode usar com o Dataplex Universal Catalog:
Esta não é uma lista completa.
Limites
Os seguintes limites se aplicam ao Dataplex Universal Catalog:
| Limite | Valor |
|---|---|
| Tamanho de uma solicitação de entrada e aspectos (incluindo o aspecto do esquema) | 2 MB |
| Comprimento de um ID de entrada | 4.000 caracteres |
| Comprimento de um nome totalmente qualificado em uma entrada | 4.000 caracteres |
| Tamanho do nome de exibição da origem da entrada em uma entrada | 500 caracteres |
| Comprimento da descrição da origem da entrada em uma entrada | 2.000 caracteres |
| Comprimento do recurso de origem da entrada em uma entrada | 4.000 caracteres |
| Comprimento do sistema de origem da entrada em uma entrada | 64 caracteres |
| Comprimento da plataforma de origem da entrada em uma entrada | 64 caracteres |
| Comprimento dos rótulos de origem de uma entrada | 128 caracteres para cada chave e valor |
| Tamanho do conteúdo JSON em um aspecto (exceto o esquema) | 120 KB |
| Tamanho total de uma entrada | 5 MB |
| Número máximo de aspectos em uma entrada | 10.000 |
| Comprimento do nome de exibição do tipo de entrada, tipo de aspecto e grupo de entradas | 256 |
| Comprimento da descrição do tipo de entrada, tipo de aspecto e grupo de entradas | 1024 |
| Tamanho do nome do campo em um modelo de tipo de aspecto | 63 |
| Número máximo de tipos de aspectos obrigatórios em um tipo de entrada | 20 |
| Número máximo de valores de enum em um modelo de tipo de aspecto | 1024 |
| Número máximo de itens nos resultados da pesquisa do Dataplex Universal Catalog | 500 (modo de pesquisa somente por palavra-chave no console Google Cloud ou
semanticSearch=false ao usar a API)100 (todos os outros casos de pesquisa) |
| Número máximo de produtos de dados por projeto por região | 50 |
| Número máximo de recursos de dados por produto de dados | 10 |