Ajuste direito

O recurso de ajuste direito usa dicas de recursos do Apache Beam para personalizar recursos de worker para um pipeline. A capacidade de direcionar vários recursos diferentes para etapas específicas do pipeline oferece mais flexibilidade e capacidade do pipeline, além de possível economia de custos. É possível aplicar recursos mais caros às etapas do pipeline que os exigem e recursos menos caros a outras etapas do pipeline. Use o ajuste direito para especificar os requisitos de recursos para um pipeline inteiro ou para etapas específicas de pipeline.

Suporte e limitações

• As dicas de recursos são compatíveis com os SDKs do Apache Beam para Java e Python, versões 2.31.0 e posteriores.
• O ajuste direito só é compatível com pipelines em lote.

• O ajuste direito é compatível com pipelines de streaming com o escalonamento automático horizontal ativado.

  • Para ativar, defina a opção de pipeline --experiments=enable_streaming_rightfitting.

• O ajuste direito é compatível com o Dataflow Prime.

• O ajuste direito não é compatível com o FlexRS.

• Quando você usar o ajuste direito, não use a worker_accelerator opção de serviço.

• Quando você usa o Dataflow Prime, a seleção automática de VMs não é compatível.

Ativar ajuste direito

Para ativar o ajuste direito, use uma ou mais dicas de recursos disponíveis no pipeline. Quando você usa uma dica de recurso no pipeline, o ajuste correto é ativado automaticamente. Para mais informações, consulte a seção Usar dicas de recursos deste documento.

Dicas de recursos disponíveis

As seguintes dicas de recurso estão disponíveis:

Dica de recurso	Descrição
min_ram	A quantidade mínima de RAM em gigabytes para alocar aos workers. O Dataflow usa esse valor como um limite inferior ao alocar memória para novos workers (escalonamento horizontal) ou para workers existentes (escalonamento vertical). Por exemplo: min_ram=NUMBERGB Substitua NUMBER pelo valor mínimo de memória do worker que o pipeline ou a etapa do pipeline exige. min_ram é uma especificação agregada por worker. Não é uma especificação por vCPU. Por exemplo, se você definir min_ram=15GB, o Dataflow vai definir a memória agregada disponível em todas as vCPUs no worker como pelo menos 15 GB. Observação: se você usar essa dica de recurso para etapas que não exigem aceleradores, a seleção automática de VMs será ativada automaticamente.
cpu_count	O número de vCPUs a serem alocadas por worker. Quando você usa esta dica de recurso, o Dataflow seleciona tipos de máquinas que têm o número especificado de vCPUs e atendem aos requisitos de memória. Por exemplo: cpu_count=NUMBER Substitua NUMBER pelo número inteiro de vCPUs que o pipeline ou a etapa do pipeline exige por worker. Observação: se você usar essa dica de recurso para etapas que não exigem aceleradores, a seleção automática de VMs será ativada automaticamente.
accelerator	Uma alocação de GPUs fornecida pelo usuário que permite controlar o uso e o custo de GPUs no pipeline e nas etapas dele. Especifique o tipo e o número de GPUs a serem anexadas aos workers do Dataflow como parâmetros à sinalização. Por exemplo: accelerator="type:GPU_TYPE;count:GPU_COUNT;machine_type:MACHINE_TYPE;CONFIGURATION_OPTIONS" Substitua GPU_TYPE pelo tipo de GPU que será usado. Para uma lista de tipos de GPU compatíveis com o Dataflow, consulte Suporte do Dataflow para GPUs. Substitua GPU_COUNT pelo número de GPUs a serem usadas. Opcional: substitua MACHINE_TYPE pelo tipo de máquina que será usado com as GPUs. O tipo de máquina precisa ser compatível com o tipo de GPU selecionado. Para detalhes sobre os tipos de GPU e os tipos de máquina compatíveis, consulte Plataformas de GPU. Se você especificar um tipo de máquina na dica de recurso accelerator e na opção de pipeline do tipo de máquina de worker, a opção de pipeline será ignorada durante o ajuste direito. Para usar GPUs NVIDIA com o Dataflow, defina a install-nvidia-driver opção de configuração. As opções de versão do driver default e latest são compatíveis. A opção de versão do driver precisa ser a mesma em todo o pipeline, mesmo que seja omitida. Não há suporte para a combinação de nenhuma versão do driver com a default versão do driver. Para mais informações sobre o uso de GPUs, consulte GPUs com Dataflow.

Seleção automática de VMs para tipos de máquinas de worker

Quando você usa dicas de recursos min_ram ou cpu_count para etapas de pipeline que não exigem aceleradores, a flexibilidade da instância (seleção automática de VMs) é ativada automaticamente. Com a seleção automática de VMs, os workers são provisionados a partir de uma seleção de tipos de máquinas que atendem aos requisitos de RAM e CPU.

A seleção automática de VMs otimiza a seleção de VMs principalmente para confiabilidade e não para performance. Isso significa que você pode ter uma performance reduzida ao usar a seleção automática de VMs para melhorar a confiabilidade de alguns dos seus jobs altamente ajustados. Recomendamos que você teste a seleção automática de VMs em um subconjunto dos seus jobs atuais antes de implantá-los gradualmente de forma mais ampla.

Atenção: para evitar a baixa utilização da CPU e o paralelismo inesperado em VMs de worker ao usar a seleção automática de VMs, defina explicitamente o número de linhas de execução do worker. Para mais informações, consulte Paralelismo inesperado com a seleção automática de VMs.

Observação: ao usar a seleção automática de VMs, não inclua dicas de recursos de etapa no pipeline.

Se você usar reservas do Compute Engine com a seleção automática de VMs, observe o seguinte:

• Se você tiver reservas que são consumidas automaticamente, elas poderão ser usadas se o Compute Engine provisionar VMs de um tipo de máquina correspondente.
• A seleção automática de VMs não oferece suporte ao consumo de instâncias de uma reserva específica.
• A seleção automática de VMs não é compatível com o Dataflow Prime.

Para mais informações, consulte Flexibilidade e reservas de instâncias.

Aninhamento de dica de recurso

As dicas de recurso são aplicadas à hierarquia de transformação do pipeline da seguinte maneira:

• min_ram: o valor em uma transformação é avaliado como o maior valor de dica min_ram entre os valores definidos na própria transformação e todos os pais na hierarquia da transformação.
  • Exemplo: se uma dica de transformação interna definir min_ram como 16 GB, e a dica de transformação externa nos conjuntos de hierarquia min_ram como 32 GB, uma dica de 32 GB será usada em todas as etapas da transformação.
  • Exemplo: se uma dica de transformação interna definir min_ram como 16 GB, e a dica de transformação externa nos conjuntos de hierarquiamin_ram como 8 GB, uma dica de 8 GB é usada para todas as etapas na transformação externa que não estão na transformação interna, e uma dica de 16 GB será usada em todas as etapas da transformação interna.
• accelerator: o valor mais interno na hierarquia da transformação tem precedência.
  • Exemplo: se uma dica accelerator de transformação interna for diferente de uma dica accelerator de transformação externa em uma hierarquia, a dica accelerator de transformação interna será usada para a transformação interna.

As dicas definidas para todo o pipeline são tratadas como se fossem definidas em uma transformação externa separada.

Use dicas de recursos

É possível definir dicas de recursos em todo o pipeline ou nas etapas de pipeline.

Dicas de recursos do pipeline

É possível definir dicas de recursos em todo o pipeline quando você o executar na linha de comando.

Para configurar o ambiente do Python, consulte o tutorial do Python.

Exemplo:

    python my_pipeline.py \
        --runner=DataflowRunner \
        --resource_hints=min_ram=numberGB \
        --resource_hints=cpu_count=number \
        --resource_hints=accelerator="type:type;count:number;install-nvidia-driver" \
        ...

Observação: quando o ajuste direito está ativado, as dicas de recursos do pipeline têm precedência sobre o tipo de máquina especificado nas opções de pipeline. Para garantir que a opção de tipo de máquina seja usada, remova qualquer opção de dica de recurso de pipeline.

Dicas de recursos da etapa do pipeline

É possível definir dicas de recursos em etapas (transformações) do pipeline de forma programática.

Java

Para instalar o SDK do Apache Beam para Java, consulte Instalar o SDK do Apache Beam.

É possível definir dicas de recursos de maneira programática em transformações de pipeline usando a classe ResourceHints.

Veja no exemplo a seguir como definir dicas de recursos de maneira programática nas transformações de pipeline.

pcoll.apply(MyCompositeTransform.of(...)
    .setResourceHints(
        ResourceHints.create()
            .withMinRam("15GB")
            .withCpuCount(8)
            .withAccelerator(
    "type:nvidia-l4;count:1;install-nvidia-driver")))

pcoll.apply(ParDo.of(new BigMemFn())
    .setResourceHints(
        ResourceHints.create()
          .withMinRam("30GB")
          .withCpuCount(16)))

Para definir dicas de recursos de maneira programática em todo o pipeline, use a interface ResourceHintsOptions.

Python

Para instalar o SDK do Apache Beam para Python, consulte Instalar o SDK do Apache Beam.

É possível definir dicas de recursos de maneira programática em transformações de pipeline usando a classe PTransforms.with_resource_hints. Para saber mais, consulte a classe ResourceHint.

Veja no exemplo a seguir como definir dicas de recursos de maneira programática nas transformações de pipeline.

pcoll | MyPTransform().with_resource_hints(
    min_ram="4GB",
    cpu_count=8,
    accelerator="type:nvidia-tesla-l4;count:1;install-nvidia-driver")

pcoll | beam.ParDo(BigMemFn()).with_resource_hints(
    min_ram="30GB",
    cpu_count=16)

Para definir dicas de recursos em todo o pipeline, use a opção de pipeline --resource_hints ao executar o pipeline. Para ver um exemplo, consulte Dicas de recurso de pipeline.

Go

As dicas de recursos não são compatíveis com o Go.

Suporte a vários aceleradores

Em um pipeline, transformações diferentes podem ter configurações de acelerador diferentes. Isso inclui configurações que exigem tipos de máquinas diferentes. Essas configurações de acelerador no nível de transformação têm precedência sobre a configuração no nível do pipeline, se uma tiver sido fornecida.

Ajuste direito e fusão

Em alguns casos, transformações definidas com diferentes dicas de recursos podem ser executadas em workers no mesmo pool de workers, como parte do processo de otimização de fusão. Quando as transformações são unidas, o Dataflow as executa em um ambiente que atende à união de dicas de recursos definidas nas transformações. Em alguns casos, isso inclui todo o pipeline.

Quando as dicas de recursos não podem ser mescladas, a fusão não ocorre. Por exemplo, as dicas de recursos para GPUs diferentes não podem ser mescladas. Portanto, essas transformações não são fundidas.

Para evitar a fusão, adicione uma operação ao pipeline que force o Dataflow a materializar um PCollection intermediário. Isso é especialmente útil ao tentar isolar recursos caros, como GPUs ou máquinas de alta memória, de etapas lentas ou computacionalmente caras que não precisam desses recursos especiais. Nesses casos, pode ser útil forçar uma quebra de fusão entre as etapas lentas vinculadas à CPU e as etapas que precisam das GPUs caras ou máquinas de alta memória e pagar o custo de materialização associado à quebra de fusão. Para saber mais, consulte Evitar a fusão.

Ajuste direito de streaming

Para jobs de streaming, é possível ativar o ajuste direito definindo a opção de pipeline --experiments=enable_streaming_rightfitting.

O ajuste direito pode melhorar a performance do pipeline se ele envolver estágios com requisitos de recursos diferentes.

Exemplo: pipeline com estágio com uso intenso de CPU e estágio que exige GPU

Um exemplo de pipeline que pode se beneficiar do ajuste direito é aquele que executa um estágio com uso intenso de CPU, seguido por um estágio que exige GPU. Sem o ajuste direito, um único pool de workers de GPU precisará ser configurado para executar todos os estágios do pipeline, incluindo o estágio com uso intenso de CPU. Isso pode levar à subutilização dos recursos de GPU quando o pool de workers estiver executando o estágio com uso intenso de CPU.

Se o ajuste direito estiver ativado e uma dica de recurso for aplicada à etapa que exige GPU, o pipeline vai criar dois pools separados para que o estágio com uso intenso de CPU seja executado pelo pool de workers de CPU e o estágio que exige GPU seja executado pelo pool de workers de GPU.

Para este pipeline de exemplo, a tabela de escalonamento automático mostra que o pool de workers que executa o estágio com uso intenso de CPU, Pool 0, é inicialmente escalonado para 99 workers e, posteriormente, reduzido para 87 workers. O pool de workers que executa o estágio que exige GPU, Pool 1, é escalonado para 13 workers:

O gráfico de utilização da CPU mostra que os workers em ambos os pools de workers demonstram alta utilização geral da CPU:

Resolver problemas de ajuste direito

Esta seção fornece instruções para solucionar problemas comuns relacionados ao ajuste direito.

Configuração inválida

Quando você tenta usar o ajuste direito, ocorre o seguinte erro:

Workflow failed. Causes: One or more operations had an error: 'operation-OPERATION_ID':
[UNSUPPORTED_OPERATION] 'NUMBER vCpus with NUMBER MiB memory is
an invalid configuration for NUMBER count of 'GPU_TYPE' in family 'MACHINE_TYPE'.'.

Esse erro ocorre quando o tipo de GPU selecionado não é compatível com o tipo de máquina selecionado. Para resolver esse erro, selecione um tipo de GPU e de máquina compatíveis. Para detalhes de compatibilidade, consulte Plataformas de GPU.

Paralelismo inesperado com a seleção automática de VMs

Se você observar baixa utilização da CPU ou paralelismo inesperado em VMs de worker ao usar a seleção automática de VMs com ajuste direito, isso pode ser devido a um problema conhecido em que o número de linhas de execução por worker não é definido automaticamente para corresponder à contagem de vCPUs do tipo de máquina selecionado.

Para contornar esse problema, defina explicitamente o número de linhas de execução do worker usando a numberOfWorkerHarnessThreads opção de pipeline. Essa opção se aplica globalmente a todos os pools de workers no pipeline.

Verificar o ajuste direito

É possível verificar se o ajuste direito está ativado visualizando as métricas de escalonamento automático e verificando se a coluna Worker pool está visível e lista pools diferentes:

Performance de ajuste direito de streaming

Pipelines de streaming com o ajuste direito ativado nem sempre têm uma performance melhor do que pipelines sem o ajuste direito ativado. Por exemplo:

1. O pipeline está usando mais workers
2. A latência do sistema é maior ou a capacidade de processamento é menor
3. Os tamanhos do pool de workers estão mudando com mais frequência ou não estão se estabilizando

Se você observar isso no pipeline, desative o ajuste direito removendo a opção de pipeline --experiments=enable_streaming_rightfitting. Além disso, pipelines de streaming com o ajuste direito ativado usando dicas de recursos de acelerador podem usar mais aceleradores do que o desejado. Se você observar isso no pipeline, configure um número máximo de aceleradores usados pelo pipeline definindo a opção de pipeline --experiments=max_num_accelerators=NUM.