En este documento, se enumeran las cuotas y los límites del sistema que se aplican a Cloud Composer.
- Las cuotas tienen valores predeterminados, pero, por lo general, puedes solicitar ajustes.
- Los límites del sistema son valores fijos que no se pueden cambiar.
Google Cloud usa cuotas para garantizar la equidad y reducir los aumentos repentinos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de un recurso deGoogle Cloud que puede usar tu proyecto de Google Cloud . Las cuotas se aplican a una variedad de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir la cantidad de llamadas a la API para un servicio, la cantidad de balanceadores de cargas que se usan en simultáneo en tu proyecto o la cantidad de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios deGoogle Cloud evitando la sobrecarga de los servicios. Las cuotas también te ayudan a administrar tus propios recursos de Google Cloud .
El sistema de cuotas Cloud realiza las siguientes acciones:
- Supervisa tu consumo de Google Cloud productos y servicios
- Restringe el consumo de esos recursos.
- Proporciona una forma de solicitar cambios en el valor de la cuota y automatizar los ajustes de la cuota.
En la mayoría de los casos, cuando intentas consumir más de lo que permite la cuota de un recurso, el sistema bloquea el acceso al recurso, y la tarea que intentas realizar falla.
Por lo general, las cuotas se aplican a nivel del Google Cloud proyecto. El uso de un recurso en un proyecto no afecta tu cuota disponible en otro proyecto. Dentro de un Google Cloud proyecto, las cuotas se comparten entre todas las aplicaciones y direcciones IP.
Para obtener más información, consulta la descripción general de Cloud Quotas.Para ajustar la mayoría de las cuotas, usa la consola de Google Cloud . Para obtener más información, consulta Solicita un ajuste de cuota.
También hay límites de sistema para los recursos de Cloud Composer. Los límites del sistema no se pueden cambiar.
Cuotas de Cloud Composer
Las cuotas de esta sección solo se aplican a la API de Cloud Composer y a las herramientas que la utilizan:
- Interfaz de Cloud Composer en la Google Cloud consola
- Comandos
gcloud composerygcloud beta composer - API de REST de Cloud Composer
- API de RPC de Cloud Composer
- Terraform, para operaciones con entornos de Cloud Composer
Las cuotas de esta sección no se aplican a los servicios que usas en tus DAG de Airflow. Estos servicios usan sus propias cuotas.
Cloud Composer tiene las siguientes cuotas de API:
| Nombre de la cuota | Límite |
|---|---|
| Solicitudes de lectura por proyecto | 1,000 unidades de cuota por minuto |
| Solicitudes de escritura por proyecto | 25,000 unidades de cuota por día |
| Solicitudes de escritura por proyecto | 1,500 unidades de cuota por minuto |
| Solicitudes de guardar instantáneas por proyecto | 5,000 unidades de cuota por día |
| Solicitudes de guardar instantáneas por proyecto | 250 unidades de cuota por minuto |
| Guardar solicitudes de instantáneas por proyecto y por entorno | 2,600 unidades de cuota por día |
| Solicitudes de carga de instantáneas por proyecto | 2,500 unidades de cuota por día |
| Solicitudes de carga de instantáneas por proyecto | 150 cuotas por minuto |
| Solicitudes de carga de instantáneas por proyecto y por entorno | 700 unidades de cuota por día |
Las llamadas a la API de Cloud Composer tienen los siguientes costos, en unidades de cuota:
| Operación | Costo en unidades de cuota | Tipo de solicitud |
|---|---|---|
| Todas las operaciones | 1 | Leer |
| environments.create | 100 | Escritura |
| environments.patch | 100 | Escritura |
| environments.delete | 100 | Escritura |
| environments.databaseFailover | 100 | Escritura |
| environments.restartWebServer | 100 | Escritura |
| environments.checkUpgrade | 100 | Escritura |
| environments.executeAirflowCommand | 25 | Escritura |
| environments.stopAirflowCommand | 25 | Escritura |
| environments.saveSnapshot | 50 | Guardar instantánea |
| environments.loadSnapshot | 50 | Cargar instantánea |
Ejemplos de cálculo de cuotas
Una solicitud de
environments.createconsume 100 unidades de cuota de las cuotas de escritura.Existen dos cuotas de este tipo para las solicitudes de escritura:
- Solicitudes de escritura por proyecto y por día
- Solicitudes de escritura por proyecto y por minuto
Esta operación consume 100 unidades de cuota de cada cuota.
Si ejecutas una solicitud de
environments.restartWebServerdespués, se consumirán otras 100 unidades de cuota de las mismas cuotas, ya queenvironments.restartWebServercomparte cuotas con la solicitud deenvironments.create.Una solicitud de
environments.saveSnapshotconsume 50 unidades de cuota de tres cuotas:- Solicitudes de guardar instantáneas por proyecto y por día
- Solicitudes de guardar instantáneas por proyecto y por minuto
- Solicitudes de guardar instantáneas por proyecto, por entorno y por día
Estas tres cuotas limitan la cantidad máxima de solicitudes de
environments.saveSnapshot. Cada uno lo hace de una manera diferente.El límite de cuota de Save snapshot requests per project per day es de 2,500 unidades de cuota. Puedes ejecutar hasta 50 solicitudes
environments.saveSnapshoten tu proyecto todos los días.El límite de cuota de Save snapshot requests per project per minute es de 150 unidades de cuota. En un minuto, solo puedes ejecutar hasta tres solicitudes de
environments.saveSnapshoten tu proyecto.Por último, el límite de cuota de Save snapshot requests per project per environment per day es de 750 unidades de cuota. Puedes ejecutar hasta 15 solicitudes de
environments.saveSnapshotpor día para un solo entorno. Si se consumen todas las unidades de cuota para un entorno específico, aún puedes ejecutar solicitudesenvironments.saveSnapshotpara otros entornos de tu proyecto.
Cuotas para otros servicios
Cloud Composer usa otros servicios de Google Cloud . Estos servicios tienen cuotas a nivel del proyecto, que se aplican cuando usas Cloud Composer.
Por ejemplo, las cuotas de Cloud Storage se aplican a todos los buckets asociados con los entornos de tu proyecto. Como otro ejemplo, los clústeres del entorno usan Google Kubernetes Engine, por lo que las cuotas de GKE se aplican a todos los clústeres asociados con los entornos de tu proyecto.
Cuotas para los servicios que usa Cloud Composer
Cloud Composer usa los siguientes servicios. Estos servicios tienen sus propios límites de cuota:
- Cuotas de Cloud Deployment Manager
- Cuotas de Google Kubernetes Engine
- Cuotas de Compute Engine
- Cuotas de Cloud Storage
- Cuotas de Pub/Sub
- Cuotas de Cloud Logging
- Cuotas de Cloud Monitoring
- Cuotas de Cloud Build (se aplican a los entornos que usan paquetes de PyPI personalizados)
- Cuotas de Artifact Registry
- Cuotas de Identity and Access Management
- Cuotas de la nube privada virtual (no se aplica a los entornos que usan Private Service Connect)
- Cuotas de Resource Manager
- Cuotas del Directorio de servicios
Cuotas para servicios opcionales
Puedes usar los operadores de Airflow con los servicios de Google Cloud . Cualquier servicio que uses en un DAG está sujeto a las cuotas de ese servicio.