Utiliser des réservations Compute Engine avec Dataflow

Pour vous assurer que des ressources de VM sont disponibles lorsque vos jobs Dataflow en ont besoin, vous pouvez utiliser des réservations Compute Engine. Les réservations offrent un niveau élevé d'assurance pour l'obtention de la capacité des ressources zonales Compute Engine.

Pour utiliser des réservations Compute Engine consommées automatiquement avec Dataflow, procédez comme suit :

  1. Créez une réservation Compute Engine. Il peut s'agir d'une réservation à projet unique ou d'une réservation partagée. Pour en savoir plus, consultez les documents suivants :

    La réservation peut inclure des accélérateurs de GPU ou de TPU.

  2. Pour que la réservation soit utilisée, la configuration des nœuds de calcul Dataflow doit correspondre à la configuration de la réservation (par exemple, le type de machine et les paramètres d'accélérateur). Vous devrez peut-être définir le type de machine des nœuds de calcul pour le job. Pour en savoir plus, consultez Configurer des VM de nœuds de calcul.

  3. Envoyez votre job Dataflow.

  4. Vous pouvez surveiller l'utilisation actuelle de la réservation par Dataflow sur la page "Réservations" de la Google Cloud console.

Pour éviter que les charges de travail de faible priorité du même projet n'entrent en concurrence avec Dataflow pour les réservations, définissez l'affinité de réservation sur none lorsque vous créez des VM pour ces charges de travail. Pour en savoir plus, consultez la section Consommer des instances réservées.

Limites

  • Toutes les limites des réservations Compute Engine s'appliquent lorsque les nœuds de calcul Dataflow consomment des réservations. Consultez la section Fonctionnement des réservations.

  • Dataflow s'appuie sur l'ordre d'utilisation par défaut dans Compute Engine. Par conséquent, les limites suivantes s'appliquent :

    • Les autres charges de travail du même projet ou de la même organisation qui ne spécifient pas l'option --reservation peuvent être en concurrence avec les charges de travail Dataflow pour les réservations spécifiques à un projet ou partagées.

  • Les jobs Dataflow Prime ne consomment pas de réservations Compute Engine.

Réservations et accélérateurs

Dataflow est compatible avec les réservations spécifiquement ciblées pour les pipelines utilisant des accélérateurs (GPU ou TPU). Cette fonctionnalité est généralement disponible avec une liste d'autorisation. Pour obtenir des instructions sur l'utilisation des accélérateurs Dataflow avec des réservations spécifiques, contactez l'équipe chargée de votre compte.

Tarifs

Dataflow vous facture les VM issues de réservations consommées automatiquement pendant l'exécution de votre job Dataflow. Lorsque Dataflow n'utilise pas les VM, Compute Engine vous facture.

Modèle de tarification de Compute Engine

Si votre utilisation de Dataflow inclut des VM issues de réservations spécifiquement ciblées qui disposent de GPU ou de TPU, les ressources de calcul de ces VM réservées sont facturées conformément aux tarifs de Compute Engine. Si vos réservationsspécifiquement ciblées sont associées à un engagement basé sur les ressources Compute Engine, vous bénéficiez également des remises sur engagement d'utilisation basées sur les ressources applicables pour votre utilisation. Vous êtes également facturé d'une prime de gestion pour les ressources de calcul consommées dans Dataflow. Pour en savoir plus sur les tarifs, consultez Tarifs de Dataflow.

Modèle de tarification de Dataflow

Pour tout autre type de réservations Compute Engine que vous utilisez avec Dataflow, votre utilisation est facturée à l'aide du modèle de tarification de Dataflow. L'utilisation de Dataflow à partir de ces réservations n'est pas éligible aux remises sur engagement d'utilisation basées sur les ressources, même si ces réservations sont associées à un engagement basé sur les ressources. Cela s'applique aux réservations Compute Engine suivantes :

  • Réservations spécifiquement ciblées qui ne disposent pas de GPU ni de TPU
  • Toutes les réservations consommées automatiquement

Étape suivante

Pour en savoir plus sur les réservations Compute Engine, consultez la section Réservations de ressources zonales Compute Engine.