Pode ver gráficos de monitorização do dimensionamento automático para tarefas de streaming na interface de monitorização do Dataflow. Estes gráficos apresentam métricas ao longo da duração de uma tarefa de pipeline e incluem as seguintes informações:
- O número de instâncias de trabalho usadas pela sua tarefa em qualquer momento
- Os ficheiros de registo da escala automática
- A acumulação estimada ao longo do tempo
- A utilização média da CPU ao longo do tempo
Os gráficos estão alinhados verticalmente para que possa correlacionar as métricas de utilização da CPU e da fila de tarefas pendentes com eventos de escalabilidade dos trabalhadores.
Para mais informações sobre como o Dataflow toma decisões de dimensionamento automático, consulte a documentação sobre as funcionalidades de otimização automática. Para mais informações acerca da monitorização e das métricas do Dataflow, consulte o artigo Use a interface de monitorização do Dataflow.
Aceda aos gráficos de monitorização da escala automática
Pode aceder à interface de monitorização do Dataflow através do Google Cloud console. Para aceder ao separador de métricas Ajuste automático, siga estes passos:
- Inicie sessão na Google Cloud consola.
- Selecione o seu projeto do Google Cloud .
- Abra o menu de navegação.
- No Analytics, clique em Dataflow. É apresentada uma lista de tarefas do Dataflow juntamente com o respetivo estado.
- Clique na tarefa que quer monitorizar e, de seguida, clique no separador Ajuste de escala automático.
Monitorize as métricas de escala automática
O serviço Dataflow escolhe automaticamente o número de instâncias de worker necessárias para executar a tarefa de escalabilidade automática. O número de instâncias de trabalho pode mudar ao longo do tempo de acordo com os requisitos do trabalho.
Pode ver as métricas de escala automática no separador Escala automática da interface do Dataflow. Cada métrica está organizada nos seguintes gráficos:
A barra de ações do ajuste automático apresenta o estado atual do ajuste automático e a contagem de trabalhadores.
Escala automática
O gráfico de Ajuste automático de escala mostra um gráfico de intervalos temporais do número atual de trabalhadores, o número de trabalhadores de destino e o número mínimo e máximo de trabalhadores.
Para ver os registos do ajuste automático de escala, clique em Mostrar registos do ajuste automático de escala.
Para ver o histórico de alterações da escalabilidade automática, clique em Mais histórico. É apresentada uma tabela com informações sobre o histórico do trabalhador do seu pipeline. O histórico inclui eventos de dimensionamento automático, incluindo se o número de trabalhadores atingiu o número mínimo ou máximo de trabalhadores.
Justificação da escala automática (apenas no Streaming Engine)
O gráfico Fundamento da escalabilidade automática mostra o motivo pelo qual o escalador automático aumentou, diminuiu ou não tomou medidas durante um determinado período.
Para ver uma descrição da fundamentação num ponto específico, mantenha o ponteiro sobre o gráfico.
A tabela seguinte apresenta as ações de escalabilidade e as possíveis justificações de escalabilidade.
| Ação de dimensionamento | Fundamentação | Descrição |
|---|---|---|
| Nenhuma alteração no redimensionamento | A recolher mais dados para a decisão | O ajuste automático não tem sinais suficientes para aumentar ou diminuir a escala. Por exemplo, o estado do conjunto de trabalhadores foi alterado recentemente ou as métricas de utilização ou pendências estão a flutuar. |
| Nenhuma alteração no dimensionamento, sinais estáveis | Atingiu o limite não relacionado com recursos | O escalamento está restrito por um limite, como o paralelismo de chaves ou o número mínimo e máximo de trabalhadores configurado. |
| Baixo atraso e elevada utilização de trabalhadores | O dimensionamento automático do pipeline convergiu para um valor estável, tendo em conta o tráfego e a configuração atuais. Não é necessária nenhuma alteração de escalabilidade. | |
| Aumente a escala | Trabalho acumulado elevado | Aumentar a escala para reduzir o atraso. |
| Utilização elevada dos trabalhadores | Aumentar a escala para alcançar a utilização da CPU alvo. | |
| Atingiu um limite não relacionado com recursos | O número mínimo de trabalhadores foi atualizado e o número atual de trabalhadores é inferior ao mínimo configurado. | |
| Reduzir escala | Baixa utilização de trabalhadores | Reduzir a escala para atingir a utilização da CPU pretendida. |
| Atingiu um limite não relacionado com recursos | O número máximo de trabalhadores foi atualizado e o número atual de trabalhadores é superior ao máximo configurado. |
Utilização da CPU do trabalhador
A utilização da CPU é a quantidade de CPU usada dividida pela quantidade de CPU disponível para processamento. O gráfico Utilização média da CPU mostra a utilização média da CPU para todos os trabalhadores ao longo do tempo, a sugestão de utilização do trabalhador e se o Dataflow usou ativamente a sugestão como destino.
Acumulação (apenas no Streaming Engine)
O gráfico Atraso máximo fornece informações sobre os elementos que aguardam processamento. O gráfico mostra uma estimativa da quantidade de tempo em segundos necessária para consumir o backlog atual se não chegarem novos dados e o débito não se alterar. O tempo de pendências estimado é calculado a partir do débito e dos bytes de pendências da origem de entrada que ainda têm de ser processados. Esta métrica é usada pela funcionalidade de dimensionamento automático de streaming para determinar quando aumentar ou diminuir a escala.
Os dados deste gráfico só estão disponíveis para tarefas que usam o Streaming Engine. Se a sua tarefa de streaming não usar o Streaming Engine, o gráfico está vazio.
Recomendações
Seguem-se alguns comportamentos que pode observar no seu pipeline e recomendações sobre como ajustar o dimensionamento automático:
Redução excessiva da escala. Se a utilização da CPU de destino estiver definida como demasiado elevada, pode ver um padrão em que o Dataflow é reduzido, o backlog começa a aumentar e o Dataflow é aumentado novamente para compensar, em vez de convergir para um número estável de trabalhadores. Para mitigar este problema, experimente definir uma sugestão de utilização de trabalhadores inferior. Observe a utilização da CPU no ponto em que o backlog começa a aumentar e defina a sugestão de utilização para esse valor.
Melhoramento demasiado lento. Se o aumento da escala for demasiado lento, pode ficar atrás dos picos de tráfego, o que resulta em períodos de latência aumentada. Experimente reduzir a sugestão de utilização de trabalhadores para que o Dataflow seja dimensionado mais rapidamente. Observe a utilização da CPU no ponto em que a fila de tarefas pendentes começa a aumentar e defina a sugestão de utilização para esse valor. Monitorize a latência e o custo, porque um valor de sugestão inferior pode aumentar o custo total do pipeline se forem aprovisionados mais trabalhadores.
Aumento excessivo da escala. Se observar um aumento excessivo da escala, o que resulta num aumento do custo, considere aumentar a sugestão de utilização dos trabalhadores. Monitorize a latência para se certificar de que se mantém dentro dos limites aceitáveis para o seu cenário.
Para mais informações, consulte o artigo Defina a sugestão de utilização do trabalhador. Quando experimentar um novo valor de sugestão de utilização de trabalhadores, aguarde alguns minutos para que o pipeline se estabilize após cada ajuste.
O que se segue?
- Ajuste a escala automática horizontal para pipelines de streaming
- Resolva problemas de dimensionamento automático do Dataflow