Usar o avanço de marca d'água antecipado

Em um pipeline de streaming do Dataflow, registros atrasados ou fora de ordem podem interromper o marcador do pipeline. Esses tipos de registros resultam de instâncias em que ocorrem discrepâncias de tempo, como eventos de dispositivos off-line ou clientes com distorção de relógio. Uma marca-d'água travada atrasa os resultados em janelas de tempo pontuais e os timers de evento, além de poder causar picos repentinos na utilização de workers quando os dados atrasados finalmente são limpos.

Para evitar que registros atrasados atrasem o pipeline, ative o avanço antecipado de marca d'água para os jobs do Streaming Engine. Quando você ativa esse recurso, o Dataflow continua processando registros atrasados, mas esses registros não travam a marca d'água, permitindo que as janelas e os timers sejam executados conforme o cronograma.

Ativar o avanço antecipado de marca-d'água ajuda você a:

  • Latência previsível: gere agregações em janela no prazo e execute timers de tempo de evento de acordo com o cronograma, sem esperar que os registros atrasados terminem o processamento.
  • Utilização mais suave do worker: feche janelas e execute timers de maneira constante, à medida que os dados pontuais avançam a marca-d'água, evitando picos de utilização do worker devido ao fechamento de janelas em atraso de uma só vez.

Visão geral

Em um pipeline de streaming, a marca d'água é um limite que indica que o Dataflow rastreou que os dados até esse ponto foram processados. As agregações em janelas geram resultados pontuais, e os timers de tempo de evento são executados somente depois que a marca-d'água passa do fim da janela ou do carimbo de data/hora do timer.

Por padrão, a marca-d'água se baseia no carimbo de data/hora mínimo do evento não processado e nunca retrocede. Quando um registro chega com um carimbo de data/hora de evento atrás da marca-d'água atual, ela é interrompida até que o processamento do registro seja concluído. Como as marcas d'água downstream não podem avançar além das marcas d'água upstream, uma marca d'água upstream travada trava todas as etapas seguintes. À medida que um registro atrasado se move pelo pipeline, a marca-d'água de cada estágio permanece estagnada até que o registro termine de ser processado nesse estágio. Mesmo quando o pipeline está íntegro, essa cascata atrasa os resultados em janelas e os timers de tempo de evento para dados pontuais em todas as etapas downstream. Quando os registros atrasados finalmente são limpos, as marcas d'água avançam rapidamente, geralmente acionando uma explosão de fechamentos de janelas que aumenta a utilização do worker.

O avanço antecipado da marca d'água muda esse comportamento para jobs do Streaming Engine, desacoplando os registros atrasados da progressão da marca d'água. Quando um registro chega com um carimbo de data/hora de evento anterior à marca-d'água atual, o Dataflow processa o registro sem reter a marca-d'água do estágio. A marca d'água continua avançando com base nos dados pontuais, enquanto os registros atrasados são processados e gerados de acordo com a configuração de atraso permitido do pipeline.

Quando usar o avanço antecipado de marca-d'água

O avanço antecipado da marca d'água é eficaz nos seguintes cenários em que o progresso da marca d'água é interrompido por registros que chegam após a marca d'água atual:

  • Intermitências de dados atrasados: cenários em que dispositivos móveis, sensores de IoT ou equipamentos de rede ficam off-line por horas ou dias, armazenam eventos em buffer localmente e geram uma intermitência de dados históricos ao se reconectarem.
  • Horários de eventos fora de ordem no Pub/Sub: tópicos do Pub/Sub em que as mensagens chegam com carimbos de data/hora de eventos mais antigos que a marca-d'água de origem ou tópicos com poucos dados em que a marca-d'água de uma assinatura inativa avança para o horário real entre as mensagens.
  • Recuperação de partição do Kafka: origens do Kafka configuradas com o horário do evento ou CreateTime, em que a marca d'água de uma partição avança enquanto ela está ociosa e, em seguida, recebe um backlog de registros mais antigos.
  • Carimbos de data/hora personalizados do passado: transformações do usuário que geram registros com carimbos de data/hora históricos usando outputWithTimestamp.

Dados atrasados com agregações em janelas

Sem o avanço antecipado da marca-d'água, uma marca-d'água interrompida mantém as janelas abertas. Se a marca d'água ficar parada por tempo suficiente, os registros atrasados que chegarem mais tarde poderão ser contados como pontuais, o que oferece uma proteção não intencional contra dados atrasados. Com o avanço antecipado da marca d'água, os registros atrasados não travam mais a marca d'água, então mais registros são classificados corretamente como atrasados. Os registros atrasados dentro do atraso permitido são mostrados em painéis atrasados, e os registros atrasados depois disso são deixados de fora dos resultados da janela.

Quando o avanço antecipado de marca-d'água não se aplica

O avanço antecipado da marca d'água não resolve o atraso causado pelo processamento lento de dados pontuais. Se as transformações demorarem muito para processar registros pontuais devido a operações com uso intensivo de computação, RPCs externas lentas ou gargalos de CPU e memória do worker, a marca-mágica será retida por esses elementos lentos. O avanço antecipado da marca-d'água só separa os dados que já estão atrás da marca-d'água. Ele não acelera o processamento lento de pontualidade.

Suporte e limitações

Todas as versões do SDK do Apache Beam executadas no Streaming Engine (Java, Python e Go) oferecem suporte ao avanço de marca d'água antecipado. Não é necessário fazer upgrade do SDK.

O avanço de marca d'água antecipado tem os seguintes requisitos e limitações:

  • Streaming Engine obrigatório: o pipeline precisa usar o Streaming Engine.
  • Somente jobs de streaming: só é possível ativar o avanço de marca d'água antecipado para pipelines de streaming.
  • Atraso permitido: para lidar com registros atrasados em agregações em janelas ou processamento com estado, defina o atraso permitido para cobrir os atrasos esperados antes de ativar o avanço de marca d'água antecipado. Os registros posteriores ao atraso permitido são descartados. Para mais detalhes, consulte Dados atrasados.
  • Origens limitadas: se todas as origens em um job de streaming forem limitadas, o job não será concluído por conta própria quando a entrada terminar. Para interromper o job, drene-o.
  • Somente jobs novos ou de substituição: não é possível alterar o avanço de marca d'água antecipado em um job em execução ativa. Para ativar ou desativar o recurso em um pipeline atual, implante um job de substituição usando a opção de atualização de pipeline.

Antes de começar

Antes de ativar o avanço antecipado de marca-d'água, faça o seguinte:

  1. Configure o atraso permitido para cobrir os atrasos esperados.
  2. Verifique se o gatilho, o modo de acumulação e o processamento de PaneInfo do pipeline funcionam com painéis atrasados.

Depois de ativar o avanço de marca d'água antecipado, monitore o contador droppedDueToLateness em Contadores personalizados no painel Informações do job do console do Google Cloud para verificar se os dados atrasados descartados permanecem em uma taxa aceitável para seu caso de uso.

Ativar o avanço antecipado de marca-d'água

Para ativar o avanço antecipado de marca d'água, defina a opção de serviço enable_eager_watermark_advancement ao iniciar um pipeline:

Java

--dataflowServiceOptions=enable_eager_watermark_advancement

Python

--dataflow_service_options=enable_eager_watermark_advancement

Go

--dataflow_service_options=enable_eager_watermark_advancement

gcloud

Ao executar um modelo usando o comando gcloud dataflow jobs run ou um modelo flexível usando o comando gcloud dataflow flex-template run, inclua as flags --enable-streaming-engine e --additional-experiments:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=TEMPLATE_LOCATION \
    --region=REGION \
    --enable-streaming-engine \
    --additional-experiments=enable_eager_watermark_advancement

Substitua os seguintes valores:

  • JOB_NAME: o nome do job do Dataflow
  • TEMPLATE_LOCATION: o caminho do Cloud Storage para o arquivo de especificação do modelo flexível.
  • REGION: a região em que o job é executado.

Terraform

Defina additional_experiments no recurso google_dataflow_flex_template_job ou google_dataflow_job:

resource "google_dataflow_flex_template_job" "pipeline" {
  # ...
  enable_streaming_engine = true
  additional_experiments  = ["enable_eager_watermark_advancement"]
}

REST

Use o campo additionalExperiments no objeto RuntimeEnvironment ou no objeto FlexTemplateRuntimeEnvironment ao iniciar um modelo flexível:

{
  "additionalExperiments": ["enable_eager_watermark_advancement"]
}

Console

  1. No console do Google Cloud , acesse a página Jobs do Dataflow.

    Acessar "Jobs"

  2. Clique em Criar job usando um modelo.

  3. Selecione um modelo no menu Modelo do Dataflow.

  4. Abra Parâmetros opcionais.

  5. No campo Experimentos adicionais, insira enable_eager_watermark_advancement.

  6. Cliquem em Executar job.

Verificar se o avanço antecipado de marca-d'água está ativado

Quando um job é iniciado ou atualizado com o avanço de marca d'água antecipado ativado, os registros do job contêm a seguinte mensagem:

Eager watermark advancement is enabled for this job.

Quando uma atualização ativa ou desativa o avanço de marca d'água antecipado, os registros do job contêm uma mensagem como esta:

Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true

Você também pode verificar a seção Opções de pipeline do painel Informações do job. A opção enable_eager_watermark_advancement aparece na linha dataflowServiceOptions ou na linha experiments se você a definir como um experimento.

Desativar o avanço antecipado de marca-d'água

Não é possível desativar o avanço de marca d'água antecipado em um job em execução. Para desativar o recurso em um pipeline, inicie um job de substituição usando a opção de pipeline --update e omita enable_eager_watermark_advancement das opções de substituição. Para mais informações, consulte Atualizar um pipeline de streaming. Como a marca d'água nunca retrocede, a marca d'água do job de substituição continua da marca d'água do job anterior e retoma o comportamento de avanço padrão.

Monitorar o avanço da marca-d'água adiantada

Para jobs que têm o avanço de marca d'água antecipado ativado, o Dataflow informa as seguintes métricas por estágio ao Cloud Monitoring. Use essas métricas com a métrica padrão dataflow.googleapis.com/job/per_stage_data_watermark_age (atualização de dados) para avaliar dados atrasados e latência de marca-d'água:

  • dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: qual seria a idade da marca-d'água de dados do estágio se o avanço de marca-d'água antecipado estivesse desativado. A diferença entre essa métrica e per_stage_data_watermark_age é a latência da marca-d'água que o avanço antecipado da marca-d'água remove.
  • dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: a idade do elemento pendente mais antigo na etapa ou antes dela, incluindo registros atrasados. Para pipelines com agregações em janelas, a diferença entre essa métrica e per_stage_data_watermark_age se aproxima de quanto o registro atrasado mais antigo está atrás da marca d'água. Se essa diferença se aproximar do atraso permitido, os registros atrasados correm o risco de serem descartados. Para verificar se algum registro atrasado foi descartado, verifique o contador droppedDueToLateness em Contadores personalizados no console doGoogle Cloud (consulte Antes de começar).

As duas métricas são informadas em segundos e incluem um rótulo stage. Para mais informações, consulte Usar o Monitoring.

A seguir