Neste documento, listamos as cotas que se aplicam ao catálogo universal do Dataplex.
OGoogle Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud .
- Restringe o consumo desses recursos.
- Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Saiba mais em Visão geral das cotas do Cloud.
Também há limites de sistemas nos recursos do Dataplex Universal Catalog. Os limites do sistema não podem ser alterados.
O Dataplex Universal Catalog impõe cotas no número de solicitações de API durante um período específico e no número de recursos que podem ser criados em um projeto. As cotas protegem você de picos de uso imprevistos e serviços sobrecarregados. Saiba mais sobre por que as cotas são aplicadas.
Suas necessidades de cota podem aumentar à medida que você usa o Dataplex Universal Catalog. Se uma cota estiver abaixo das suas necessidades ou se você espera um aumento futuro no uso, solicite um aumento de cota.
Cotas para solicitações da API Dataplex
A API Dataplex aplica cotas para solicitações de pesquisa e gerenciamento de recursos do Dataplex Universal Catalog em diferentes níveis, independente da origem. Isso inclui as solicitações originadas diretamente de chamadas de API, bibliotecas de cliente, Google Cloud CLI e Google Cloud console.
As cotas a seguir se aplicam às solicitações do Dataplex Universal Catalog:
| Cota | Padrão |
|---|---|
| Solicitações de leitura de entradas e aspectos por projeto, por região e por minuto | 6000 |
| Solicitações de gravação de entradas e aspectos por projeto, por região e por minuto | 1500 |
| Solicitações de leitura para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário e por minuto | 100 |
| Solicitações de leitura para tipos de aspectos, tipos de entradas e grupos de entradas por projeto e por minuto | 200 |
| Solicitações de gravação para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, usuário e minuto | 10 |
| Solicitações de gravação para tipos de aspecto, tipos de entrada e grupos de entrada por projeto por minuto | 20 |
| Solicitações de pesquisa por projeto, usuário e minuto | 900 |
| Solicitações de pesquisa por projeto por minuto | 1200 |
| Solicitações de pesquisa por organização e por minuto | 2400 |
| Solicitações de pesquisa por organização por dia | 345600 |
| Solicitações de leitura para jobs de metadados por projeto, por região e por minuto | 400 |
| Solicitações de leitura para jobs de metadados por projeto, usuário, região e minuto | 200 |
| Solicitações de gravação para jobs de metadados por projeto, por região e por minuto | 20 |
| Solicitações de gravação para jobs de metadados por projeto, usuário, região e minuto | 10 |
| Quantidade de metadados exportados por jobs de exportação de metadados, por organização e por dia | 10 GB |
|
Quantidade de metadados verificados para exportação por jobs de exportação de metadados, por organização e por dia Essa cota avalia o volume total de metadados que existem na organização, nos projetos ou nos grupos de entradas no escopo do job de exportação de metadados. |
100 GB |
Para cada solicitação do Dataplex Universal Catalog listada na tabela a seguir, a cota é aplicada nos níveis por projeto e por projeto/usuário.
| Cota | Exemplos |
|---|---|
| Solicitações de leitura para gerenciamento de recursos | Receber um lake, listar zonas |
| Solicitações de gravação para gerenciamento de recursos | Criar um lake, excluir um recurso |
| Solicitações de metadados | Receber uma entidade ou uma partição |
| Solicitações de lista de metadados | Listar entidades, listar partições |
| Solicitações de gravação para metadados | Atualizar uma entidade, excluir uma partição |
| Ler solicitações de recursos de tarefa e job | Receber uma tarefa, listar jobs |
| Solicitações de gravação para recursos de tarefa e job | Criar uma tarefa, cancelar um job |
| Definir solicitações de política do IAM | Definir uma política do IAM. |
Cotas para solicitações da API Data Lineage
A API Data Lineage aplica cotas para o seguinte:
- Solicitações de leitura que retornam apenas os dados
- Escrever solicitações que criam ou mudam os dados
- Criar Open Lineage
As cotas a seguir se aplicam às solicitações de linhagem de dados:
| Cota | Valor padrão |
|---|---|
| Solicitações de leitura por projeto, por usuário, por região e por minuto | 1000 |
| Solicitações de gravação por projeto, por usuário, por região e por minuto | 6000 |
| Solicitações do Open Lineage por projeto, usuário, região e minuto | 3000 |
Cotas para recursos
A cota de recursos é aplicada no nível do projeto para os seguintes tipos de recursos: lake, zona, recurso, tarefa sob demanda e tarefa recorrente. Você pode verificar o uso atual da cota do Dataplex Universal Catalog na página Cotas do console Google Cloud .
Solicitar aumento de cota
No Google Cloud console, acesse a página Cotas.
Selecione a cota que você quer modificar.
Clique em Mais ações > Editar cota.
Insira o novo valor de cota e uma descrição da solicitação.
Clique em Próxima.
Insira os dados de contato.
Clique em Enviar solicitação.
Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar ajuste de cota.
Dependências de cota
Seu uso do Dataplex Universal Catalog pode envolver outros produtos do Google Cloud . Por exemplo, a descoberta de dados exige a invocação das APIs do Cloud Storage e/ou do BigQuery para interagir com os recursos subjacentes. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataplex Universal Catalog.
Páginas de cota de outros produtos que você pode usar com o Dataplex Universal Catalog:
Esta não é uma lista completa.
Limites
Os seguintes limites se aplicam ao Dataplex Universal Catalog:
| Limite | Valor |
|---|---|
| Tamanho de uma solicitação de entrada e aspectos (incluindo o aspecto do esquema) | 2 MB |
| Comprimento de um ID de entrada | 4.000 caracteres |
| Comprimento de um nome totalmente qualificado em uma entrada | 4.000 caracteres |
| Tamanho do nome de exibição da origem da entrada em uma entrada | 500 caracteres |
| Comprimento da descrição da origem da entrada em uma entrada | 2.000 caracteres |
| Comprimento do recurso de origem da entrada em uma entrada | 4.000 caracteres |
| Comprimento do sistema de origem da entrada em uma entrada | 64 caracteres |
| Comprimento da plataforma de origem da entrada em uma entrada | 64 caracteres |
| Comprimento dos rótulos de origem de uma entrada | 128 caracteres para cada chave e valor |
| Tamanho do conteúdo JSON em um aspecto (exceto o esquema) | 120 KB |
| Tamanho total de uma entrada | 5 MB |
| Número máximo de aspectos em uma entrada | 10.000 |
| Comprimento do nome de exibição do tipo de entrada, tipo de aspecto e grupo de entradas | 256 |
| Comprimento da descrição do tipo de entrada, tipo de aspecto e grupo de entradas | 1024 |
| Tamanho do nome do campo em um modelo de tipo de aspecto | 63 |
| Número máximo de tipos de aspectos obrigatórios em um tipo de entrada | 20 |
| Número máximo de valores de enum em um modelo de tipo de aspecto | 1024 |
| Número máximo de itens nos resultados da pesquisa do Dataplex Universal Catalog | 500 |