Monitorar o desempenho usando contadores de desempenho no Mainframe Connector

Este guia descreve como ativar e coletar rastros de contadores de desempenho no Mainframe Connector.

Visão geral

Os contadores de desempenho capturam métricas de execução de alta resolução e dados de estado no nível da linha de execução durante as operações do Mainframe Connector, como transcodificação de conjunto de dados, uploads do Cloud Storage e carregamento de dados do BigQuery. É possível usar rastros de contadores para diagnosticar gargalos de desempenho, contrapressão de memória ou fila, bloqueio de linhas de execução, restrições de rede ou E/S e uso de recursos do sistema de mainframe.

Principais métricas capturadas

Os rastros de contadores de desempenho incluem amostras de alta frequência de métricas internas, como:

  • Rastreamento do estado do worker:tempo gasto nos estados active, queue_blocked, io_blocked, compressing e hashing.
  • E/S e capacidade de processamento:bytes lidos e gravados, capacidade de processamento de transferência e taxas de transcodificação de blocos.
  • Dinâmica da fila:tamanhos de buffer e fila de worker em estágios de pipeline de execução.
  • Métricas do sistema:tempos de operação de baixo nível correlacionados a carimbos de data/hora com precisão de nanossegundos.

Os rastros de contadores de desempenho coletam apenas metadados de execução e estatísticas de tempo. Eles não coletam conteúdo de conjuntos de dados, registros de clientes ou informações de identificação pessoal (PII).

Ativar contadores de desempenho

Os contadores de desempenho ficam desativados por padrão. É possível ativá-los definindo a variável de ambiente MFC_PERF_FILE para o caminho de saída de destino antes de executar jobs do Mainframe Connector.

Ambientes shell

Para ativar contadores de desempenho em um ambiente shell no Linux ou nos serviços de sistema UNIX z/OS, exporte MFC_PERF_FILE antes de invocar o Mainframe Connector:

export MFC_PERF_FILE="/tmp/mfc_perf.perf"
copy binary file:/path/to/file gs://bucket/path/to/object

Para desativar a coleta de contadores de desempenho, cancele a definição da variável de ambiente:

unset MFC_PERF_FILE

Ambiente JCL do mainframe

Para ativar contadores de desempenho para um job JCL que executa o Mainframe Connector, defina MFC_PERF_FILE no procedimento do Mainframe Connector ou no procedimento PARM do job. Ao fornecer seu próprio PARM, mantenha também o PARM padrão (/I+ com.google.bqsh.Bqsh).

O exemplo a seguir mostra como ativar contadores de desempenho para um job JCL:

//STEP01 EXEC BQSH,PARMDD=MFCPERF
//INFILE DD DSN=HLQ.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DSN=HLQ.COPYBOOK.FILENAME,DISP=SHR
//MFCPERF DD *
ENVAR("MFC_PERF_FILE=/tmp/mfc_perf.perf")/I+
com.google.bqsh.Bqsh
/*
//STDIN DD *
BUCKET=my-target-bucket-1234
gsutil cp --replace gs://$BUCKET/tablename.orc
/*

Configurar contadores de desempenho

É possível configurar a frequência de amostragem e o tamanho máximo do arquivo de registros do contador de desempenho usando as seguintes variáveis de ambiente:

Variável de ambiente Descrição Valor padrão
MFC_PERF_FILE O caminho em que as métricas do contador de desempenho serão gravadas. Se não estiver definido ou estiver vazio, a coleta do contador de desempenho será desativada. Desativado
MFC_PREF_COLLECTION_INTERVAL_MS A frequência de amostragem em milissegundos. Especifica com que frequência as métricas são liberadas para o arquivo de saída. 100 (0,1 segundo)
MFC_MAX_PERF_MAX_FILE_SIZE_BYTES O limite máximo de tamanho para o arquivo de saída em bytes. Quando atingido, a gravação é interrompida automaticamente para evitar o preenchimento do armazenamento em disco. 67108864 (64 MiB)

Enviar arquivos de contador ao suporte do Google para análise

O arquivo de saída gerado pelo recurso de contadores de desempenho (por exemplo, /tmp/mfc_performance.perf) é formatado como um conjunto de dados binários que contém esquemas de métricas estruturadas e registros de medição. Ele não é um texto simples legível por humanos e não pode ser avaliado diretamente com visualizadores de registros padrão.

O arquivo de saída exige ferramentas de análise interna do Google e visualizadores de métricas especializados para decodificar transições de estado e gráficos de profundidade de fila. Para analisar os dados de performance, envie o arquivo gerado ao Google Cloud suporte ou ao seu Gerente técnico de contas.

Ao abrir um caso de suporte sobre problemas de desempenho, capacidade de processamento de transcodificação lenta ou duração inesperada do job, siga estas etapas:

  1. Defina MFC_PERF_FILE como um caminho válido (por exemplo, /tmp/mfc_perf.perf).
  2. Reproduza o problema executando o job no monitoramento de desempenho.
  3. Recupere o arquivo .perf gerado do caminho especificado.
  4. Anexe o arquivo .perf aos registros do job no Google Cloud caso de suporte para avaliação dos engenheiros do Google.