Detención programada del clúster

Para evitar que se generen cargos deGoogle Cloud por un clúster inactivo o la necesidad de borrar y volver a crear un clúster para evitar que se generen cargos por el clúster, usa la función de detención programada del clúster de Managed Service para Apache Spark, que detiene todas las VMs del clúster. No se te cobra por las VMs detenidas, pero se siguen generando cargos por los recursos asociados, como los discos persistentes.

Detener un clúster detiene todas las VMs del clúster y hace que fallen todos los trabajos en ejecución. Cuando se detiene un clúster, no puedes actualizarlo, enviarle trabajos ni acceder a los componentes opcionales en él con la puerta de enlace de componentes de Managed Service para Apache Spark. Después de detener un clúster, puedes reiniciarlo y reanudar el trabajo.

La detención programada del clúster está disponible para los clústeres creados con las versiones de imagen 2.2.42+, 2.1.76+, 2.0.57+ y posteriores.

Funciones

  • Puedes detener los clústeres después de un período de inactividad especificado, en un momento futuro determinado o después de un período específico desde la solicitud de creación del clúster.

  • La detención programada de clústeres admite clústeres con trabajadores secundarios y clústeres de reducción de escala a cero.

  • Puedes actualizar o cancelar la configuración de detención programada del clúster.

Limitaciones y consideraciones

  • La detención programada del clúster no es compatible con los clústeres que tienen SSD locales.
  • Aunque puedes actualizar la configuración de detención programada de un clúster, una operación de detención iniciada continuará. Para verificar si se inició la operación de detención, examina los registros del clúster en Cloud Logging.
  • Si actualizas un programa de detención en un clúster que ya pasó la hora de detención programada, se quitará la configuración de detención programada. Para volver a habilitar la detención programada, incluye una hora futura en tu solicitud de actualización.

Acciones que inhabilitan la detención programada del clúster

Mientras se ejecuta un clúster, las siguientes acciones inhabilitan la detención programada del clúster hasta que se revierta la acción de inhabilitación:

Cálculo del tiempo de inactividad del clúster

Para que un clúster se considere inactivo, se deben cumplir las siguientes condiciones:

  • La creación del clúster finalizó (el tiempo que se tarda en aprovisionar e iniciar el clúster se excluye del cálculo del tiempo de inactividad).
  • no se ejecutan trabajos en el clúster
  • El clúster no está en un estado STOPPED.

Cuando se envía un trabajo al clúster o se detiene un clúster, se restablece el cálculo del tiempo de inactividad.

La propiedad del clúster dataproc:dataproc.cluster-ttl.consider-yarn-activity afecta el cálculo del tiempo de inactividad del clúster de la siguiente manera:

  • Esta propiedad está habilitada (establecida en true) de forma predeterminada.
  • Cuando esta propiedad está habilitada, la actividad de la API de trabajos de YARN y de Managed Service para Apache Spark debe estar inactiva para iniciar y seguir incrementando el cálculo del tiempo de inactividad del clúster.
    • La actividad de YARN incluye las aplicaciones de YARN pendientes y en ejecución.
    • La actividad de la API de Managed Service para Apache Spark Jobs incluye los trabajos pendientes y en ejecución enviados a la API de Managed Service para Apache Spark Jobs.
  • Cuando esta propiedad se establece en false, el cálculo del tiempo de inactividad del clúster comienza y continúa solo cuando la actividad de la API de Jobs de Managed Service para Apache Spark está inactiva.

Usa la detención programada de clústeres

Consola deGoogle Cloud

Puedes establecer valores de detención programada cuando creas un clúster con la consola de Google Cloud de la siguiente manera:

  1. Abre la página Crear clúster.
  2. En Define la configuración de control de costos, selecciona Establece una política de retención opcional para controlar los costos y, luego, selecciona la configuración de detención (o eliminación) del clúster.

gcloud CLI

Puedes establecer valores de detención programada cuando creas un clúster con la Google Cloud CLI o la API de Managed Service para Apache Spark. Después de crear el clúster, puedes actualizarlo para cambiar o borrar los valores de detención programada del clúster que se establecieron anteriormente en él.

Marca Descripción Mayor nivel de detalle Valor mín. Valor máx.
--stop-max-idle1 Se aplica a los comandos de creación y actualización de clústeres. Es la duración desde el momento en que el clúster entra en estado inactivo (después de la creación o el inicio) hasta el momento en que el clúster comienza a detenerse. Proporciona la duración en formato IntegerUnit, en el que la unidad puede ser "s, m, h, d" (segundos, minutos, horas, días, respectivamente). Ejemplos: "30m" o "1d" (30 minutos o 1 día desde que el clúster queda inactivo). 1 segundo 5 minutos 14 días
--no-stop-max-idle Solo se aplica al comando de actualización del clúster. Cancela la detención programada del clúster establecida con anterioridad por la marca --stop-max-idle No aplicable No aplicable No aplicable
--stop-expiration-time2 Se aplica a los comandos de creación y actualización de clústeres. Es la hora para comenzar a detener el clúster en formato de fecha y hora ISO 8601. Puedes generar la fecha y hora en el formato correcto con el generador de marcas de tiempo. Por ejemplo, "2017-08-22T13:31:48-08:00" especifica una hora de vencimiento de las 13:21:48 en la zona horaria UTC -8:00.1 segundo10 minutos a partir de la hora actual 14 días desde la hora actual
--stop-max-age2 Se aplica a los comandos de creación y actualización de clústeres. Es la duración desde el momento en que se envía la solicitud de creación del clúster hasta el momento en que este comienza a detenerse. Proporciona la duración en formato IntegerUnit, en el que la unidad puede ser "s, m, h, d" (segundos, minutos, horas, días). Ejemplos: "30m": dentro de 30 minutos; "1d": dentro de 1 día. 1 segundo 10 minutos 14 días
Notas:
  1. Puedes pasar la marca stop-max-idle con la marca stop-expiration-time o stop-max-age en la solicitud de creación o actualización del clúster. La primera que se cumpla se aplicará para detener el clúster.
  2. Puedes pasar la marca stop-expiration-time o la marca stop-max-age al comando de creación o actualización del clúster, pero no ambas.

Ejemplo de creación de clúster:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --stop-max-idle=DURATION \
    --stop-expiration-time=TIME \
    ... other flags ...

Ejemplo de actualización de clúster:

Por ejemplo:

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --stop-max-idle=DURATION \
    --no-stop-max-age \
    ... other flags

API de REST

Puedes crear o actualizar los valores de detención programada en un clúster configurando los campos y valores de ClusterLifecycleConfig de la API de Managed Service para Apache Spark que se indican en la siguiente tabla como parte de una solicitud a la API cluster.create o cluster.patch de Managed Service para Apache Spark.

Marca Descripción Mayor nivel de detalle Valor mín. Valor máx.
idleStopTtl1 Se aplica a los comandos de creación y actualización de clústeres. Es la duración desde el momento en que el clúster entra en estado de inactividad después de que se crea o actualiza hasta el momento en que el clúster comienza a detenerse. Proporciona una duración en segundos con hasta nueve dígitos fraccionarios, que termine con "s". Ejemplo: “3.5s”. Envía una solicitud cluster.patch con una duración vacía para cancelar un valor idleDeleteTtl establecido anteriormente. 1 segundo 5 minutos
14 días
autoStopTime2 Se aplica a los comandos de creación y actualización de clústeres. Es la hora en la que se debe comenzar a detener el clúster. Proporciona una marca de tiempo en formato UTC "Zulú" de RFC 3339, con precisión de nanosegundos. Ejemplo: "2014-10-02T15:01:23.045123456Z". 1 segundo 10 minutos desde la hora actual 14 días desde la hora actual
autoStopTtl2 Es la duración desde el momento en que se envía la solicitud de creación o actualización del clúster hasta el momento en que el clúster comienza a detenerse. Proporciona una duración en segundos con hasta nueve dígitos decimales, terminada en "s". Ejemplo: “3.5s”. 1 segundo 10 minutos.
Envía una solicitud cluster.patch con una duración vacía para cancelar un valor autoStopTtl establecido anteriormente.
14 días
Notas:
  1. Puedes pasar la marca stop-max-idle con la marca stop-expiration-time o stop-max-age en la solicitud de creación o actualización del clúster. La primera que se cumpla se aplicará para detener el clúster.
  2. Puedes pasar la marca stop-expiration-time o la marca stop-max-age al comando de creación o actualización del clúster, pero no ambas.

Usa la detención programada con la eliminación programada

Si usas la detención programada del clúster con la eliminación programada del clúster, ten en cuenta las siguientes restricciones cuando crees o actualices un clúster:

  • El período de stop-max-idle debe ser menor o igual que el período de delete-max-idle, o el período que resulta de delete-max-age o delete-expiration-time.

  • La stop-max-age y la stop-expiration-time deben ser posteriores a la delete-max-age y la delete-expiration-time, respectivamente.

Visualiza la configuración del clúster de detención programada

Consola deGoogle Cloud

  • Para ver la configuración de detención programada del clúster, selecciona el nombre del clúster en la página Clústeres de Managed Service para Apache Spark en la consola de Google Cloud .
  • En la página de detalles de los clústeres, selecciona la pestaña Configuración. Ve a la lista de configuración del clúster para ver los parámetros de configuración de detención programada.

gcloud CLI

Puedes usar el comando gcloud dataproc clusters list para confirmar que un clúster tiene habilitada la detención programada.

 gcloud dataproc clusters list \
     --region=REGION

Resultado de muestra:

...
NAME         WORKER_COUNT ... SCHEDULED_STOP
CLUSTER_ID   NUMBER       ... enabled
...

Puedes usar el comando gcloud dataproc clusters describe para verificar la configuración de detención programada del clúster LifecycleConfig.

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION

Resultado de muestra:

...
lifecycleConfig:
  autoStopTime: '2018-11-28T19:33:48.146Z'
  idleStopTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

El usuario establece los valores de autoStopTime y idleStopTtl. Managed Service para Apache Spark genera el valor idleStartTime, que es la hora de inicio de inactividad más reciente del clúster.

Mientras que Managed Service para Apache Spark calcula el idleStartTime en función del cese de la actividad del trabajo, el mecanismo para detener el clúster de forma programada considera tanto el idleStartTime como la última hora de inicio del clúster. Específicamente, si un usuario o Managed Service para Apache Spark detienen un clúster, se restablece el cálculo de inactividad para la función de detención programada. Esto significa que la cuenta regresiva para una detención programada se reinicia cuando se inicia el clúster. Sin embargo, el idleStartTime en sí no se restablece cuando se reinicia un clúster detenido. Sigue reflejando la última instancia de inactividad del trabajo antes de la detención.

Por lo tanto, se deben cumplir dos condiciones para que Managed Service para Apache Spark detenga un clúster según el idleStopTtl:

  1. El clúster debe haber estado inactivo durante el tiempo especificado por idleStopTtl desde que se inició por última vez.
  2. El clúster debe haber estado inactivo durante el período especificado por idleStopTtl desde el último restablecimiento de idleStartTime.

API de REST

Puedes realizar una solicitud clusters.list para confirmar que un clúster tiene habilitada la detención programada.