Usar as reservas do Compute Engine com o Dataflow

Para que os recursos da VM estejam disponíveis quando os jobs do Dataflow precisarem deles, use as reservas do Compute Engine. As reservas fornecem um nível alto de garantia da capacidade dos recursos zonais do Compute Engine.

Para usar as reservas do Compute Engine com o Dataflow, siga estas etapas:

  1. Crie uma reserva do Compute Engine. Pode ser uma reserva de projeto único ou compartilhada. Confira mais informações nestes documentos:

    A reserva pode incluir aceleradores de GPU ou TPU.

  2. Ao enviar o job do Dataflow, transmita uma das seguintes opções de serviço, dependendo da versão do SDK do Beam que você estiver usando:

    • Versão do Beam anterior à 2.29: --experiments=skip_gce_quota_verification
    • Versão do Beam 2.29 ou mais recente: --dataflow_service_options=automatically_use_created_reservation

Para evitar que as cargas de trabalho de baixa prioridade no mesmo projeto concorram por reservas com o Dataflow, defina a afinidade de reserva como none ao criar VMs para essas cargas de trabalho. Saiba mais em Consumir instâncias reservadas.

Para usar a reserva, os workers do Dataflow precisam corresponder à configuração da reserva. Talvez seja necessário definir o tipo de máquina do worker para o job. Saiba mais em Workers.

Limitações

  • Todas as limitações das reservas do Compute Engine se aplicam quando os workers do Dataflow consomem as reservas. Veja Como funcionam as reservas.

  • O Dataflow depende da ordem de consumo padrão no Compute Engine. Como resultado, as seguintes limitações se aplicam:

    • Outras cargas de trabalho no mesmo projeto ou organização que não especificarem a flag --reservation podem competir com as cargas de trabalho do Dataflow por reservas compartilhadas ou específicas do projeto.

  • Os jobs do Dataflow Prime não consomem reservas do Compute Engine.

Reservas e aceleradores

O Dataflow é compatível com reservas especificamente direcionadas para pipelines que usam aceleradores (GPUs ou TPUs). Essa funcionalidade está em disponibilidade geral com uma lista de permissões. Para instruções sobre como usar aceleradores do Dataflow com reservas específicas, entre em contato com sua equipe de conta.

Preços

O Dataflow cobra pelas VMs de reservas consumidas automaticamente enquanto o job do Dataflow está em execução. Quando o Dataflow não está usando as VMs, o Compute Engine faz a cobrança.

Modelo de preços do Compute Engine

Se o uso do Dataflow incluir VMs de reservas especificamente direcionadas que têm GPUs ou TPUs, os recursos de computação dessas VMs reservadas serão faturados de acordo com os preços do Compute Engine. Se as reservas especificamente segmentadas estiverem vinculadas a um compromisso com base em recursos do Compute Engine, você também vai receber os descontos por uso contínuo (CUDs) com base em recursos aplicáveis ao seu uso. Você também recebe uma cobrança premium de gerenciamento pelos recursos de computação consumidos no Dataflow. Para mais detalhes sobre preços, consulte Preços do Dataflow.

Modelo de preços do Dataflow

Para qualquer outro tipo de reserva do Compute Engine que você use com o Dataflow, o uso é cobrado usando o modelo de preços do Dataflow. O uso do Dataflow dessas reservas não se qualifica para CUDs baseados em recursos, mesmo que elas estejam anexadas a um compromisso desse tipo. Isso se aplica às seguintes reservas do Compute Engine:

  • Reservas com direcionamento específico que não têm GPUs ou TPUs
  • Todas as reservas consumidas automaticamente

A seguir

Saiba mais sobre as reservas do Compute Engine em Reservas de recursos zonais do Compute Engine.