Supervisa el rendimiento con los contadores de rendimiento en Mainframe Connector

En esta guía, se describe cómo habilitar y recopilar seguimientos de contadores de rendimiento en Mainframe Connector.

Descripción general

Los contadores de rendimiento capturan métricas de ejecución de alta resolución y datos de estado a nivel del subproceso durante las operaciones de Mainframe Connector, como la transcodificación de conjuntos de datos, las cargas de Cloud Storage y la carga de datos de BigQuery. Puedes usar los seguimientos de contadores para diagnosticar cuellos de botella de rendimiento, contrapresión de memoria o de colas, bloqueo de subprocesos, restricciones de red o de E/S, y uso de recursos del sistema de la unidad central.

Métricas clave capturadas

Los seguimientos de contadores de rendimiento incluyen muestras de alta frecuencia de métricas internas, como las siguientes:

  • Seguimiento del estado del trabajador: Tiempo invertido en los estados active, queue_blocked, io_blocked, compressing y hashing.
  • E/S y capacidad de procesamiento: Bytes de lectura y escritura, capacidad de procesamiento de transferencia y tasas de transcodificación de fragmentos.
  • Dinámica de la cola: Tamaños de búfer y de cola de trabajadores en las etapas de la canalización de ejecución.
  • Métricas del sistema: Tiempos de operación de bajo nivel correlacionados con marcas de tiempo de precisión de nanosegundos.

Los seguimientos de contadores de rendimiento solo recopilan metadatos de ejecución y estadísticas de tiempo. No recopilan contenido de conjuntos de datos, registros de clientes ni información de identificación personal (PII).

Habilita los contadores de rendimiento

Los contadores de rendimiento están inhabilitados de forma predeterminada. Para habilitarlos, establece la variable de entorno MFC_PERF_FILE en la ruta de acceso de salida de destino antes de ejecutar los trabajos de Mainframe Connector.

Entornos de shell

Para habilitar los contadores de rendimiento en un entorno de shell dentro de Linux o z/OS UNIX System Services, exporta MFC_PERF_FILE antes de invocar Mainframe Connector:

export MFC_PERF_FILE="/tmp/mfc_perf.perf"
copy binary file:/path/to/file gs://bucket/path/to/object

Para inhabilitar la recopilación de contadores de rendimiento, desactiva la variable de entorno:

unset MFC_PERF_FILE

Entorno JCL de unidad central

Para habilitar los contadores de rendimiento para un trabajo JCL que ejecuta Mainframe Connector, define MFC_PERF_FILE en el procedimiento de Mainframe Connector o en el PARM del procedimiento del trabajo. Cuando proporciones tu propio PARM, conserva también el PARM predeterminado (/I+ com.google.bqsh.Bqsh).

En el siguiente ejemplo, se muestra cómo habilitar los contadores de rendimiento para un trabajo JCL:

//STEP01 EXEC BQSH,PARMDD=MFCPERF
//INFILE DD DSN=HLQ.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DSN=HLQ.COPYBOOK.FILENAME,DISP=SHR
//MFCPERF DD *
ENVAR("MFC_PERF_FILE=/tmp/mfc_perf.perf")/I+
com.google.bqsh.Bqsh
/*
//STDIN DD *
BUCKET=my-target-bucket-1234
gsutil cp --replace gs://$BUCKET/tablename.orc
/*

Configura los contadores de rendimiento

Puedes configurar la frecuencia de muestreo y el tamaño máximo de archivo de los registros de contadores de rendimiento con las siguientes variables de entorno:

Variable de entorno Descripción Valor predeterminado
MFC_PERF_FILE Es la ruta de acceso en la que se escribirán las métricas de los contadores de rendimiento. Si no se establece o está vacía, se inhabilita la recopilación de contadores de rendimiento. Inhabilitado
MFC_PREF_COLLECTION_INTERVAL_MS Es la frecuencia de muestreo en milisegundos. Especifica la frecuencia con la que se vacían las métricas en el archivo de salida. 100 (0.1 segundos)
MFC_MAX_PERF_MAX_FILE_SIZE_BYTES Es el límite de tamaño máximo para el archivo de salida en bytes. Una vez que se alcanza, la escritura se detiene automáticamente para evitar que se llene el almacenamiento en disco. 67108864 (64 MiB)

Envía archivos de contadores a la Atención al Cliente de Google para su análisis

El archivo de salida que genera la función de contadores de rendimiento (por ejemplo, /tmp/mfc_performance.perf) se formatea como un conjunto de datos binarios que contiene esquemas de métricas estructuradas y registros de medición. No es texto sin formato legible por humanos y no se puede evaluar directamente con visores de registros estándar.

El archivo de salida requiere herramientas de análisis internas de Google y visualizadores de métricas especializados para decodificar las transiciones de estado y los gráficos de profundidad de la cola. Para analizar los datos de rendimiento, envía el archivo generado a Google Cloud la asistencia o a tu administrador de cuentas técnicas.

Cuando abras un caso de asistencia relacionado con problemas de rendimiento, capacidad de procesamiento de transcodificación lenta o duración inesperada del trabajo, sigue estos pasos:

  1. Establece MFC_PERF_FILE en una ruta de acceso válida (por ejemplo, /tmp/mfc_perf.perf).
  2. Reproduce el problema ejecutando la ejecución del trabajo en la supervisión del rendimiento.
  3. Recupera el archivo .perf generado de la ruta de acceso especificada.
  4. Adjunta el archivo .perf junto con los registros de trabajo a tu Google Cloud caso de asistencia para que los ingenieros de Google los evalúen.