Para evitar que se generen cargos deGoogle Cloud por un clúster inactivo o la necesidad de borrar y volver a crear un clúster para evitar que se generen cargos por el clúster, usa la función de detención programada del clúster de Managed Service para Apache Spark, que detiene todas las VMs del clúster. No se te cobra por las VMs detenidas, pero se siguen generando cargos por los recursos asociados, como los discos persistentes.
Detener un clúster detiene todas las VMs del clúster y hace que fallen todos los trabajos en ejecución. Cuando se detiene un clúster, no puedes actualizarlo, enviarle trabajos ni acceder a los componentes opcionales en él con la puerta de enlace de componentes de Managed Service para Apache Spark. Después de detener un clúster, puedes reiniciarlo y reanudar el trabajo.
La detención programada del clúster está disponible para los clústeres creados con las versiones de imagen 2.2.42+, 2.1.76+, 2.0.57+ y posteriores.
Funciones
Puedes detener los clústeres después de un período de inactividad especificado, en un momento futuro determinado o después de un período específico desde la solicitud de creación del clúster.
La detención programada de clústeres admite clústeres con trabajadores secundarios y clústeres de reducción de escala a cero.
Puedes actualizar o cancelar la configuración de detención programada del clúster.
Limitaciones y consideraciones
- La detención programada del clúster no es compatible con los clústeres que tienen SSD locales.
- Aunque puedes actualizar la configuración de detención programada de un clúster, una operación de detención iniciada continuará. Para verificar si se inició la operación de detención, examina los registros del clúster en Cloud Logging.
- Si actualizas un programa de detención en un clúster que ya pasó la hora de detención programada, se quitará la configuración de detención programada. Para volver a habilitar la detención programada, incluye una hora futura en tu solicitud de actualización.
Acciones que inhabilitan la detención programada del clúster
Mientras se ejecuta un clúster, las siguientes acciones inhabilitan la detención programada del clúster hasta que se revierta la acción de inhabilitación:
- Quita el rol de IAM de agente de servicio de Managed Service para Apache Spark en la cuenta de servicio del agente de servicio de Dataproc
- Inhabilitar la API de Managed Service para Apache Spark en el proyecto del clúster
- Habilitar los Controles del servicio de VPC si la cuenta de servicio del agente de servicio (identidad del plano de control) de Managed Service para Apache Spark no está dentro del límite del perímetro
Cálculo del tiempo de inactividad del clúster
Para que un clúster se considere inactivo, se deben cumplir las siguientes condiciones:
- La creación del clúster finalizó (el tiempo que se tarda en aprovisionar e iniciar el clúster se excluye del cálculo del tiempo de inactividad).
- no se ejecutan trabajos en el clúster
- El clúster no está en un estado
STOPPED.
Cuando se envía un trabajo al clúster o se detiene un clúster, se restablece el cálculo del tiempo de inactividad.
La propiedad del clúster
dataproc:dataproc.cluster-ttl.consider-yarn-activity
afecta el cálculo del tiempo de inactividad del clúster de la siguiente manera:
- Esta propiedad está habilitada (establecida en
true) de forma predeterminada. - Cuando esta propiedad está habilitada, la actividad de la API de trabajos de YARN y de Managed Service para Apache Spark
debe estar inactiva para iniciar y seguir incrementando el cálculo del tiempo de inactividad
del clúster.
- La actividad de YARN incluye las aplicaciones de YARN pendientes y en ejecución.
- La actividad de la API de Managed Service para Apache Spark Jobs incluye los trabajos pendientes y en ejecución enviados a la API de Managed Service para Apache Spark Jobs.
- Cuando esta propiedad se establece en
false, el cálculo del tiempo de inactividad del clúster comienza y continúa solo cuando la actividad de la API de Jobs de Managed Service para Apache Spark está inactiva.
Usa la detención programada de clústeres
Consola deGoogle Cloud
Puedes establecer valores de detención programada cuando creas un clúster con la consola de Google Cloud de la siguiente manera:
- Abre la página Crear clúster.
- En Define la configuración de control de costos, selecciona Establece una política de retención opcional para controlar los costos y, luego, selecciona la configuración de detención (o eliminación) del clúster.
gcloud CLI
Puedes establecer valores de detención programada cuando creas un clúster con la Google Cloud CLI o la API de Managed Service para Apache Spark. Después de crear el clúster, puedes actualizarlo para cambiar o borrar los valores de detención programada del clúster que se establecieron anteriormente en él.
| Marca | Descripción | Mayor nivel de detalle | Valor mín. | Valor máx. |
|---|---|---|---|---|
--stop-max-idle1 |
Se aplica a los comandos de creación y actualización de clústeres.
Es la duración desde el momento en que el clúster entra en estado inactivo
(después de la creación o el inicio) hasta el momento en que el clúster comienza a detenerse.
Proporciona la duración en formato IntegerUnit, en el que la unidad puede
ser "s, m, h, d" (segundos, minutos, horas, días, respectivamente). Ejemplos:
"30m" o "1d" (30 minutos o 1 día desde que el clúster queda inactivo). |
1 segundo | 5 minutos | 14 días |
--no-stop-max-idle |
Solo se aplica al comando de actualización del clúster.
Cancela la detención programada del clúster establecida con anterioridad por la marca
--stop-max-idle |
No aplicable | No aplicable | No aplicable |
--stop-expiration-time2 |
Se aplica a los comandos de creación y actualización de clústeres. Es la hora para comenzar a detener el clúster en formato de fecha y hora ISO 8601. Puedes generar la fecha y hora en el formato correcto con el generador de marcas de tiempo. Por ejemplo, "2017-08-22T13:31:48-08:00" especifica una hora de vencimiento de las 13:21:48 en la zona horaria UTC -8:00. | 1 segundo | 10 minutos a partir de la hora actual | 14 días desde la hora actual |
--stop-max-age2 |
Se aplica a los comandos de creación y actualización de clústeres.
Es la duración desde el momento en que se envía la solicitud de creación del clúster
hasta el momento en que este comienza a detenerse. Proporciona la duración
en formato IntegerUnit, en el que la unidad puede ser "s, m, h, d"
(segundos, minutos, horas, días). Ejemplos: "30m": dentro de 30 minutos;
"1d": dentro de 1 día. |
1 segundo | 10 minutos | 14 días |
- Puedes pasar la marca
stop-max-idlecon la marcastop-expiration-timeostop-max-ageen la solicitud de creación o actualización del clúster. La primera que se cumpla se aplicará para detener el clúster. - Puedes pasar la marca
stop-expiration-timeo la marcastop-max-ageal comando de creación o actualización del clúster, pero no ambas.
Ejemplo de creación de clúster:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --stop-max-idle=DURATION \ --stop-expiration-time=TIME \ ... other flags ...
Ejemplo de actualización de clúster:
Por ejemplo:
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --stop-max-idle=DURATION \ --no-stop-max-age \ ... other flags
API de REST
Puedes crear o actualizar los valores de detención programada en un clúster configurando los campos y valores de ClusterLifecycleConfig de la API de Managed Service para Apache Spark que se indican en la siguiente tabla como parte de una solicitud a la API cluster.create o cluster.patch de Managed Service para Apache Spark.
| Marca | Descripción | Mayor nivel de detalle | Valor mín. | Valor máx. |
|---|---|---|---|---|
idleStopTtl1 |
Se aplica a los comandos de creación y actualización de clústeres.
Es la duración desde el momento en que el clúster entra en estado de inactividad
después de que se crea o actualiza hasta el momento en que el clúster
comienza a detenerse.
Proporciona una duración en segundos con hasta nueve dígitos fraccionarios,
que termine con "s". Ejemplo: “3.5s”.
Envía una solicitud cluster.patch con una duración vacía para cancelar un valor idleDeleteTtl establecido anteriormente. |
1 segundo | 5 minutos |
14 días |
autoStopTime2 |
Se aplica a los comandos de creación y actualización de clústeres. Es la hora en la que se debe comenzar a detener el clúster. Proporciona una marca de tiempo en formato UTC "Zulú" de RFC 3339, con precisión de nanosegundos. Ejemplo: "2014-10-02T15:01:23.045123456Z". | 1 segundo | 10 minutos desde la hora actual | 14 días desde la hora actual |
autoStopTtl2 |
Es la duración desde el momento en que se envía la solicitud de creación o actualización del clúster hasta el momento en que el clúster comienza a detenerse. Proporciona una duración en segundos con hasta nueve dígitos decimales, terminada en "s". Ejemplo: “3.5s”. | 1 segundo | 10 minutos. Envía una solicitud cluster.patch con una duración vacía para cancelar un valor autoStopTtl establecido anteriormente. |
14 días |
- Puedes pasar la marca
stop-max-idlecon la marcastop-expiration-timeostop-max-ageen la solicitud de creación o actualización del clúster. La primera que se cumpla se aplicará para detener el clúster. - Puedes pasar la marca
stop-expiration-timeo la marcastop-max-ageal comando de creación o actualización del clúster, pero no ambas.
Usa la detención programada con la eliminación programada
Si usas la detención programada del clúster con la eliminación programada del clúster, ten en cuenta las siguientes restricciones cuando crees o actualices un clúster:
El período de
stop-max-idledebe ser menor o igual que el período dedelete-max-idle, o el período que resulta dedelete-max-ageodelete-expiration-time.La
stop-max-agey lastop-expiration-timedeben ser posteriores a ladelete-max-agey ladelete-expiration-time, respectivamente.
Visualiza la configuración del clúster de detención programada
Consola deGoogle Cloud
- Para ver la configuración de detención programada del clúster, selecciona el nombre del clúster en la página Clústeres de Managed Service para Apache Spark en la consola de Google Cloud .
- En la página de detalles de los clústeres, selecciona la pestaña Configuración. Ve a la lista de configuración del clúster para ver los parámetros de configuración de detención programada.
gcloud CLI
Puedes usar el comando gcloud dataproc clusters list para
confirmar que un clúster tiene habilitada la detención programada.
gcloud dataproc clusters list \ --region=REGION
Resultado de muestra:
... NAME WORKER_COUNT ... SCHEDULED_STOP CLUSTER_ID NUMBER ... enabled ...
Puedes usar el comando gcloud dataproc clusters describe para
verificar la configuración de detención programada del clúster LifecycleConfig.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
Resultado de muestra:
... lifecycleConfig: autoStopTime: '2018-11-28T19:33:48.146Z' idleStopTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
El usuario establece los valores de autoStopTime y idleStopTtl. Managed Service para Apache Spark genera el valor idleStartTime, que es la hora de inicio de inactividad más reciente del clúster.
Mientras que Managed Service para Apache Spark calcula el idleStartTime en función del
cese de la actividad del trabajo, el mecanismo para detener el clúster de forma programada
considera tanto el idleStartTime como la última hora de inicio del clúster.
Específicamente, si un usuario o Managed Service para Apache Spark detienen un clúster,
se restablece el cálculo de inactividad para la función de detención programada. Esto significa que la cuenta regresiva para una detención programada se reinicia cuando se inicia el clúster. Sin embargo,
el idleStartTime en sí no se restablece cuando se reinicia un clúster
detenido. Sigue reflejando la última instancia de inactividad del trabajo antes de
la detención.
Por lo tanto, se deben cumplir dos condiciones para que Managed Service para Apache Spark
detenga un clúster según el idleStopTtl:
- El clúster debe haber estado inactivo durante el tiempo especificado por
idleStopTtldesde que se inició por última vez. - El clúster debe haber estado inactivo durante el período especificado por
idleStopTtldesde el último restablecimiento deidleStartTime.
API de REST
Puedes realizar una solicitud
clusters.list
para confirmar que un clúster tiene habilitada la detención programada.