Usar as reservas do Compute Engine com o Dataflow

Para que os recursos da VM estejam disponíveis quando os jobs do Dataflow precisarem deles, use as reservas do Compute Engine. As reservas fornecem um nível alto de garantia da capacidade dos recursos zonais do Compute Engine.

Para usar as reservas do Compute Engine consumidas automaticamente com o Dataflow, siga as etapas a seguir:

  1. Crie uma reserva do Compute Engine. Pode ser uma reserva de projeto único ou compartilhada. Confira mais informações nestes documentos:

    A reserva pode incluir aceleradores de GPU ou TPU.

  2. Para que a reserva seja consumida, a configuração do worker do Dataflow precisa corresponder à configuração da reserva (como tipo de máquina e configurações do acelerador). Talvez seja necessário definir o tipo de máquina do worker para o job. Para mais informações, consulte Configurar VMs de worker.

  3. Envie o job do Dataflow.

  4. É possível monitorar o uso atual da reserva pelo Dataflow na página "Reservas" no Google Cloud console.

Para evitar que as cargas de trabalho de baixa prioridade no mesmo projeto concorram por reservas com o Dataflow, defina a afinidade de reserva como none ao criar VMs para essas cargas de trabalho. Saiba mais em Consumir instâncias reservadas.

Limitações

  • Todas as limitações das reservas do Compute Engine se aplicam quando os workers do Dataflow consomem as reservas. Veja Como funcionam as reservas.

  • O Dataflow depende da ordem de consumo padrão no Compute Engine. Como resultado, as seguintes limitações se aplicam:

    • Outras cargas de trabalho no mesmo projeto ou organização que não especificarem a flag --reservation podem competir com as cargas de trabalho do Dataflow por reservas compartilhadas ou específicas do projeto.

  • Os jobs do Dataflow Prime não consomem reservas do Compute Engine.

Reservas e aceleradores

O Dataflow oferece suporte a reservas direcionadas especificamente para pipelines que usam aceleradores (GPUs ou TPUs). Essa funcionalidade está em disponibilidade geral com uma lista de permissões. Para instruções sobre como usar aceleradores do Dataflow com reservas específicas, entre em contato com a equipe da sua conta.

Preços

O Dataflow cobra pelas VMs de reservas consumidas automaticamente enquanto o job do Dataflow está em execução. Quando o Dataflow não está usando as VMs, o Compute Engine cobra.

Modelo de preços do Compute Engine

Se o uso do Dataflow incluir VMs de reservas direcionadas especificamente que tenham GPUs ou TPUs, os recursos de computação dessas VMs reservadas serão cobrados de acordo com os preços do Compute Engine. Se as reservas direcionadas especificamente estiverem anexadas a um compromisso baseado em recursos do Compute Engine, você também receberá descontos por compromisso de uso (CUDs) baseados em recursos aplicáveis ao seu uso. Você também recebe uma cobrança de gerenciamento pelos recursos de computação consumidos no Dataflow. Para mais detalhes sobre preços, consulte Preços do Dataflow.

Modelo de preços do Dataflow

Para qualquer outro tipo de reserva do Compute Engine que você usar com o Dataflow, o uso será cobrado usando o modelo de preços do Dataflow. O uso do Dataflow dessas reservas não está qualificado para CUDs baseados em recursos, mesmo que essas reservas estejam anexadas a um compromisso baseado em recursos. Isso se aplica às seguintes reservas do Compute Engine:

  • Reservas direcionadas especificamente que não têm GPUs ou TPUs
  • Todas as reservas consumidas automaticamente

A seguir

Saiba mais sobre as reservas do Compute Engine em Reservas de recursos zonais do Compute Engine.