En este documento, se enumeran las cuotas que se aplican al catálogo universal de Dataplex.
Google Cloud usa cuotas para garantizar la equidad y reducir los aumentos repentinos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de un recurso deGoogle Cloud que puede usar tu proyecto de Google Cloud . Las cuotas se aplican a una variedad de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir la cantidad de llamadas a la API para un servicio, la cantidad de balanceadores de cargas que se usan en simultáneo en tu proyecto o la cantidad de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios deGoogle Cloud evitando la sobrecarga de los servicios. También te ayudan a administrar tus propios recursos de Google Cloud .
El sistema de cuotas de Cloud lleva a cabo las siguientes acciones:
- Supervisa tu consumo de productos y servicios de Google Cloud
- Restringe el consumo de esos recursos
- Proporciona una forma de solicitar cambios en el valor de la cuota y automatizar los ajustes de la cuota
En la mayoría de los casos, cuando intentas consumir más de lo que permite la cuota de un recurso, el sistema bloquea el acceso al recurso y la tarea que intentas llevar a cabo falla.
Por lo general, las cuotas se aplican a nivel de proyecto de Google Cloud . El uso de un recurso en un proyecto no afecta tu cuota disponible en otro proyecto. Dentro de un proyecto de Google Cloud , las cuotas se comparten entre todas las aplicaciones y direcciones IP.
Para obtener más información, consulta la descripción general de cuotas de Cloud.
También existen límites del sistema para los recursos de Dataplex Universal Catalog. Los límites del sistema no se pueden cambiar.
Dataplex Universal Catalog aplica cuotas a la cantidad de solicitudes a la API durante un período específico y a la cantidad de recursos que se pueden crear en un proyecto. Las cuotas te protegen de los aumentos repentinos imprevistos en el uso y de los servicios sobrecargados. Obtén más información sobre por qué se aplican las cuotas.
Es posible que tus necesidades de cuota aumenten a medida que uses más Dataplex Universal Catalog. Si una cuota es muy baja para satisfacer tus necesidades o esperas un aumento en el uso, puedes solicitar un aumento de cuota de forma proactiva.
Cuotas para solicitudes a la API de Dataplex
La API de Dataplex aplica cuotas para las solicitudes de búsqueda y administración de recursos de Dataplex Universal Catalog en diferentes niveles, independientemente de su origen. Esto incluye las solicitudes que se originan directamente desde las llamadas a la API, las bibliotecas cliente, Google Cloud CLI y la consola Google Cloud .
Se aplican las siguientes cuotas a las solicitudes de Dataplex Universal Catalog:
| Cuota | Predeterminado |
|---|---|
| Solicitudes de lectura de entradas y aspectos por proyecto, por región y por minuto | 6000 |
| Solicitudes de escritura para entradas y aspectos por proyecto, por región y por minuto | 1500 |
| Solicitudes de lectura para tipos de aspectos, tipos de entrada y grupos de entrada por proyecto, usuario y minuto | 100 |
| Solicitudes de lectura para tipos de aspectos, tipos de entrada y grupos de entrada por proyecto y por minuto | 200 |
| Solicitudes de escritura para tipos de aspectos, tipos de entrada y grupos de entrada por proyecto, por usuario y por minuto | 10 |
| Solicitudes de escritura para tipos de aspectos, tipos de entrada y grupos de entrada por proyecto y por minuto | 20 |
| Solicitudes de búsqueda por proyecto, usuario y minuto | 900 |
| Solicitudes de búsqueda por proyecto y por minuto | 1200 |
| Solicitudes de búsqueda por organización y por minuto | 2400 |
| Solicitudes de búsqueda por organización y por día | 345600 |
| Solicitudes de lectura para trabajos de metadatos por proyecto, por región y por minuto | 400 |
| Solicitudes de lectura para trabajos de metadatos por proyecto, usuario, región y minuto | 200 |
| Solicitudes de escritura para trabajos de metadatos por proyecto, por región y por minuto | 20 |
| Solicitudes de escritura para trabajos de metadatos por proyecto, usuario, región y minuto | 10 |
| Cantidad de metadatos que exportan los trabajos de exportación de metadatos, por organización y por día | 10 GB |
|
Cantidad de metadatos que se analizan para la exportación en los trabajos de exportación de metadatos, por organización y por día Esta cuota evalúa el volumen total de metadatos que existen en la organización, los proyectos o los grupos de entradas que se encuentran dentro del alcance del trabajo de exportación de metadatos. |
100 GB |
Para cada solicitud de Dataplex Universal Catalog que se indica en la siguiente tabla, la cuota se aplica tanto a nivel del proyecto como a nivel del proyecto por usuario.
| Cuota | Ejemplos |
|---|---|
| Solicitudes de lectura para la administración de recursos | Obtén un lake y enumera las zonas |
| Solicitudes de escritura para la administración de recursos | Crea un lake y borra un activo |
| Solicitudes de metadatos | Obtener una entidad y una partición |
| Solicitudes de listas de metadatos | Enumera entidades y particiones |
| Escribe solicitudes de metadatos | Actualiza una entidad y borra una partición |
| Solicitudes de lectura para recursos de tareas y trabajos | Obtener una tarea y enumerar trabajos |
| Escribe solicitudes para recursos de tareas y trabajos | Crea una tarea y cancela un trabajo |
| Solicitudes de configuración de políticas de IAM | Configura una política de IAM |
Cuotas para las solicitudes a la API de Data Lineage
La API de Data Lineage aplica cuotas para lo siguiente:
- Solicitudes de lectura que solo devuelven los datos
- Escribir solicitudes que crean o cambian los datos
- Crea Open Lineage
Se aplican las siguientes cuotas a las solicitudes de linaje de datos:
| Cuota | Valor predeterminado |
|---|---|
| Solicitudes de lectura por proyecto, usuario, región y minuto | 1000 |
| Solicitudes de escritura por proyecto, usuario, región y minuto | 6000 |
| Solicitudes de Open Lineage por proyecto, usuario, región y minuto | 3000 |
Cuotas para recursos
La cuota de recursos se aplica a nivel de proyecto para los siguientes tipos de recursos: lago, zona, activo, tarea a pedido y tarea recurrente. Puedes verificar el uso actual de la cuota de Dataplex Universal Catalog en la página Cuotas de la consola de Google Cloud .
Solicita un aumento de la cuota
En la consola de Google Cloud , ve a la página Cuotas.
Selecciona la cuota que deseas modificar.
Haz clic en Más acciones > Editar cuota.
Ingresa el nuevo valor de cuota y una descripción de la solicitud.
Haz clic en Siguiente.
Ingresa los detalles de contacto.
Haz clic en Enviar solicitud.
Para ajustar la mayoría de las cuotas, usa la consola de Google Cloud . Para obtener más información, consulta Solicita un ajuste de cuota.
Dependencias de cuotas
Es posible que el uso de Dataplex Universal Catalog involucre otros productos de Google Cloud . Por ejemplo, el descubrimiento de datos requiere invocar las APIs de Cloud Storage o BigQuery para interactuar con los recursos subyacentes. Estos productos tienen cuotas a nivel del proyecto, que incluyen las que se aplican al uso de Dataplex Universal Catalog.
Páginas de cuotas de otros productos que puedes usar con Dataplex Universal Catalog:
Esta lista no es exhaustiva.
Límites
Se aplican los siguientes límites a Dataplex Universal Catalog:
| Límite | Valor |
|---|---|
| Tamaño de una solicitud de entrada y aspectos (incluido el aspecto del esquema) | 2 MB |
| Longitud de un ID de entrada | 4,000 caracteres |
| Longitud de un nombre completamente calificado en una entrada | 4,000 caracteres |
| Longitud del nombre visible de la fuente de entrada en una entrada | 500 caracteres |
| Longitud de la descripción de la fuente de la entrada en una entrada | 2,000 caracteres |
| Longitud del recurso de origen de la entrada en una entrada | 4,000 caracteres |
| Longitud del sistema de origen de la entrada en una entrada | 64 caracteres |
| Longitud de la plataforma de origen de la entrada en una entrada | 64 caracteres |
| Longitud de las etiquetas de la fuente de entrada en una entrada | 128 caracteres para cada clave y valor |
| Tamaño del contenido JSON en un aspecto (excepto el aspecto del esquema) | 120 KB |
| Tamaño total de una entrada | 5 MB |
| Cantidad máxima de aspectos en una entrada | 10,000 |
| Longitud del nombre visible del tipo de entrada, el tipo de aspecto y el grupo de entradas | 256 |
| Longitud de la descripción del tipo de entrada, el tipo de aspecto y el grupo de entradas | 1024 |
| Longitud del nombre del campo en una plantilla de tipo de aspecto | 63 |
| Cantidad máxima de tipos de aspectos obligatorios en un tipo de entrada | 20 |
| Cantidad máxima de valores de enumeración en una plantilla de tipo de aspecto | 1024 |
| Cantidad máxima de elementos en los resultados de la búsqueda de Dataplex Universal Catalog | 500 |