Gerenciar configurações de pipeline

Nesta página, descrevemos como gerenciar configurações para pipelines implantados.

Antes de começar

Esta página exige algum conhecimento básico sobre perfis de computação e performance de pipeline.

Configuração do perfil de computação

É possível mudar o perfil de computação ou personalizar os parâmetros do perfil padrão que executa o pipeline. Para mais informações, consulte Gerenciar perfis de computação e Propriedades do provisionador do Managed Service for Apache Spark.

Configuração do pipeline

Para cada pipeline, é possível ativar ou desativar a instrumentação, como métricas de tempo. Por padrão, a instrumentação está ativada. Se a instrumentação estiver ativada, quando você executar o pipeline, o Cloud Data Fusion vai gerar métricas para cada nó do pipeline. As métricas a seguir são mostradas na guia Métricas de cada nó. As métricas de origem, transformação e coletor variam um pouco.

  • Registros gerados
  • Entrada de registros
  • Número total de erros
  • Registros gerados por segundo
  • Tempo mínimo de processamento (um registro)
  • Tempo máximo de processamento (um registro)
  • Desvio padrão
  • Tempo médio de processamento

Recomendamos que você sempre ative a instrumentação, a menos que o ambiente esteja com poucos recursos.

Para pipelines de streaming, também é possível definir o Intervalo de lote (segundos/minutos) para dados de streaming.

Configuração do mecanismo

O Apache Spark é o mecanismo de execução padrão. É possível transmitir parâmetros personalizados para o Spark. Para mais informações, consulte Processamento paralelo.

Recursos

É possível especificar a memória e o número de CPUs para o driver e o executor do Spark. O driver orquestra o job do Spark. O executor processa os dados no Spark. Para mais informações, consulte Gerenciamento de recursos.

Alerta de pipeline

É possível configurar o pipeline para enviar alertas e iniciar tarefas de pós-processamento depois que a execução do pipeline for concluída. Você cria alertas de pipeline ao projetar o pipeline. Depois de implantar o pipeline, é possível conferir os alertas. É possível editar o pipeline para mudar as configurações de alerta. Para mais informações, consulte Criar alertas.

Pushdown de transformação

É possível ativar o pushdown de transformação se você quiser que um pipeline execute determinadas transformações no BigQuery. Para mais informações, consulte a Visão geral do pushdown de transformação.

A seguir