Nesta página, descrevemos como gerenciar configurações para pipelines implantados.
Antes de começar
Esta página exige algum conhecimento básico sobre perfis de computação e performance de pipeline.
Configuração do perfil de computação
É possível mudar o perfil de computação ou personalizar os parâmetros do perfil padrão que executa o pipeline. Para mais informações, consulte Gerenciar perfis de computação e Propriedades do provisionador do Managed Service for Apache Spark.
Configuração do pipeline
Para cada pipeline, é possível ativar ou desativar a instrumentação, como métricas de tempo. Por padrão, a instrumentação está ativada. Se a instrumentação estiver ativada, quando você executar o pipeline, o Cloud Data Fusion vai gerar métricas para cada nó do pipeline. As métricas a seguir são mostradas na guia Métricas de cada nó. As métricas de origem, transformação e coletor variam um pouco.
- Registros gerados
- Entrada de registros
- Número total de erros
- Registros gerados por segundo
- Tempo mínimo de processamento (um registro)
- Tempo máximo de processamento (um registro)
- Desvio padrão
- Tempo médio de processamento
Recomendamos que você sempre ative a instrumentação, a menos que o ambiente esteja com poucos recursos.
Para pipelines de streaming, também é possível definir o Intervalo de lote (segundos/minutos) para dados de streaming.
Configuração do mecanismo
O Apache Spark é o mecanismo de execução padrão. É possível transmitir parâmetros personalizados para o Spark. Para mais informações, consulte Processamento paralelo.
Recursos
É possível especificar a memória e o número de CPUs para o driver e o executor do Spark. O driver orquestra o job do Spark. O executor processa os dados no Spark. Para mais informações, consulte Gerenciamento de recursos.
Alerta de pipeline
É possível configurar o pipeline para enviar alertas e iniciar tarefas de pós-processamento depois que a execução do pipeline for concluída. Você cria alertas de pipeline ao projetar o pipeline. Depois de implantar o pipeline, é possível conferir os alertas. É possível editar o pipeline para mudar as configurações de alerta. Para mais informações, consulte Criar alertas.
Pushdown de transformação
É possível ativar o pushdown de transformação se você quiser que um pipeline execute determinadas transformações no BigQuery. Para mais informações, consulte a Visão geral do pushdown de transformação.