Utiliser des réservations Compute Engine avec Dataflow

Pour vous assurer que des ressources de VM sont disponibles lorsque vos jobs Dataflow en ont besoin, vous pouvez utiliser des réservations Compute Engine. Les réservations offrent un niveau élevé d'assurance pour l'obtention de la capacité des ressources zonales Compute Engine.

Pour utiliser des réservations Compute Engine avec Dataflow, procédez comme suit :

  1. Créez une réservation Compute Engine. Il peut s'agir d'une réservation à projet unique ou d'une réservation partagée. Pour en savoir plus, consultez les documents suivants :

    La réservation peut inclure des accélérateurs de GPU ou de TPU.

  2. Lorsque vous envoyez votre job Dataflow, transmettez l'une des options de service suivantes, en fonction de la version du SDK Beam que vous utilisez :

    • Beam version < 2.29 : --experiments=skip_gce_quota_verification
    • Beam version >= 2.29 : --dataflow_service_options=automatically_use_created_reservation

Pour éviter que les charges de travail de faible priorité du même projet n'entrent en concurrence avec Dataflow pour les réservations, définissez l'affinité de réservation sur none lorsque vous créez des VM pour ces charges de travail. Pour en savoir plus, consultez la section Consommer des instances réservées.

Pour utiliser la réservation, les nœuds de calcul Dataflow doivent correspondre à la configuration de la réservation. Vous devrez peut-être définir le type de machine des nœuds de calcul pour le job. Pour plus d'informations, consultez la section Nœuds de calcul.

Limites

  • Toutes les limites des réservations Compute Engine s'appliquent lorsque les nœuds de calcul Dataflow consomment des réservations. Consultez la section Fonctionnement des réservations.

  • Dataflow s'appuie sur l'ordre d'utilisation par défaut dans Compute Engine. Par conséquent, les limites suivantes s'appliquent :

    • Les autres charges de travail du même projet ou de la même organisation qui ne spécifient pas l'option --reservation peuvent être en concurrence avec les charges de travail Dataflow pour les réservations spécifiques à un projet ou partagées.

  • Les jobs Dataflow Prime ne consomment pas de réservations Compute Engine.

Réservations et accélérateurs

Dataflow est compatible avec les réservations spécifiquement ciblées pour les pipelines utilisant des accélérateurs (GPU ou TPU). Cette fonctionnalité est généralement disponible avec une liste d'autorisation. Pour obtenir des instructions sur l'utilisation des accélérateurs Dataflow avec des réservations spécifiques, contactez l'équipe en charge de votre compte.

Tarifs

Dataflow vous facture les VM issues des réservations consommées automatiquement pendant l'exécution de votre job Dataflow. Lorsque Dataflow n'utilise pas les VM, Compute Engine vous les facture.

Modèle de tarification de Compute Engine

Si votre utilisation de Dataflow inclut des VM provenant de réservations spécifiquement ciblées disposant de GPU ou de TPU, les ressources de calcul de ces VM réservées sont facturées selon la tarification Compute Engine. Si vos réservations spécifiquement ciblées sont associées à un engagement Compute Engine basé sur les ressources, vous bénéficiez également des remises sur engagement d'utilisation basées sur les ressources applicables à votre utilisation. Vous êtes également facturé d'un supplément de gestion pour les ressources de calcul consommées dans Dataflow. Pour en savoir plus sur les tarifs, consultez la page Tarifs de Dataflow.

Modèle de tarification de Dataflow

Pour tout autre type de réservations Compute Engine que vous utilisez avec Dataflow, votre utilisation est facturée à l'aide du modèle de tarification Dataflow. L'utilisation de Dataflow à partir de ces réservations n'est pas éligible aux remises sur engagement d'utilisation basées sur les ressources, même si ces réservations sont associées à un engagement basé sur les ressources. Cela s'applique aux réservations Compute Engine suivantes :

  • Réservations spécifiquement ciblées sans GPU ni TPU
  • Toutes les réservations consommées automatiquement

Étapes suivantes

Pour en savoir plus sur les réservations Compute Engine, consultez la section Réservations de ressources zonales Compute Engine.