Usa reservas de Compute Engine con Dataflow

Para asegurarte de que los recursos de VM estén disponibles cuando tus trabajos de Dataflow los necesiten, puedes usar las reservas de Compute Engine. Las reservas proporcionan un nivel de seguridad alto a fin de obtener capacidad para los recursos zonales de Compute Engine.

Para usar las reservas de Compute Engine con Dataflow, sigue estos pasos:

  1. Crea una reserva de Compute Engine. Puede ser una reserva de un solo proyecto o una reserva compartida. Para obtener más información, consulta los siguientes documentos:

    La reserva puede incluir aceleradores de GPU o TPU.

  2. Cuando envíes el trabajo de Dataflow, pasa una de las siguientes opciones de servicio, según la versión del SDK de Beam que uses:

    • Versión de Beam < 2.29: --experiments=skip_gce_quota_verification
    • Versión de Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Para evitar que las cargas de trabajo de prioridad baja en el mismo proyecto compitan por las reservas con Dataflow, establece la afinidad de reserva en none cuando crees las VMs de esas cargas de trabajo. Para obtener más información, consulta Consume instancias reservadas.

Para usar la reserva, los trabajadores de Dataflow deben coincidir con la configuración de la reserva. Es posible que debas configurar el tipo de máquina del trabajador para el trabajo. Para obtener más información, consulta Trabajadores.

Limitaciones

  • Todas las limitaciones de las reservas de Compute Engine se aplican cuando los trabajadores de Dataflow consumen reservas. Consulta la sección sobre cómo funcionan las reservas.

  • Dataflow se basa en el orden de consumo predeterminado de Compute Engine. Como resultado, se aplican las siguientes limitaciones:

    • Otras cargas de trabajo en la misma organización o el mismo proyecto que no especifiquen la marca --reservation pueden competir con las cargas de trabajo de Dataflow por reservas compartidas o específicas del proyecto.

  • Los trabajos de Dataflow Prime no consumen reservas de Compute Engine.

Reservas y aceleradores

Dataflow admite reservas específicamente segmentadas para canalizaciones que usan aceleradores (GPUs o TPU). Esta funcionalidad está disponible de forma general con una lista de entidades permitidas. Si quieres obtener instrucciones para usar los aceleradores de Dataflow con reservas específicas, comunícate con tu equipo de cuentas.

Precios

Dataflow te factura las VMs de las reservas consumidas automáticamente mientras se ejecuta tu trabajo de Dataflow. Cuando Dataflow no usa las VMs, Compute Engine te factura.

Modelo de precios de Compute Engine

Si tu uso de Dataflow incluye VMs de reservas específicamente segmentadas que tienen GPU o TPU, los recursos de procesamiento de esas VMs reservadas se facturan según los precios de Compute Engine. Si tus reservas específicamente segmentadas están asociadas a un compromiso basado en recursos de Compute Engine, también recibirás los descuentos por compromiso de uso (CUD) basados en recursos aplicables a tu uso. También se te cobra un recargo por administración de los recursos de procesamiento que se consumen en Dataflow. Para obtener más detalles sobre los precios, consulta Precios de Dataflow.

Modelo de precios de Dataflow

Para cualquier otro tipo de reserva de Compute Engine que uses con Dataflow, tu uso se facturará según el modelo de precios de Dataflow. El uso de Dataflow a partir de esas reservas no es apto para los CUD basados en recursos, incluso si esas reservas están adjuntas a un compromiso basado en recursos. Esto se aplica a las siguientes reservas de Compute Engine:

  • Reservas orientadas de forma específica que no tienen GPU ni TPU
  • Todas las reservas que se consumen automáticamente

¿Qué sigue?

Para obtener más información sobre las reservas de Compute Engine, consulta Reservas de recursos zonales de Compute Engine.