Memantau performa menggunakan penghitung performa di Mainframe Connector

Panduan ini menjelaskan cara mengaktifkan dan mengumpulkan rekaman aktivitas penghitung performa di Mainframe Connector.

Ringkasan

Penghitung performa merekam metrik eksekusi beresolusi tinggi dan data status tingkat thread selama operasi Mainframe Connector, seperti transkode set data, upload Cloud Storage, dan pemuatan data BigQuery. Anda dapat menggunakan rekaman aktivitas penghitung untuk mendiagnosis bottleneck performa, tekanan balik memori atau antrean, pemblokiran thread, batasan jaringan atau I/O, dan penggunaan resource sistem mainframe.

Metrik utama yang dicatat

Trace penghitung performa mencakup sampel frekuensi tinggi dari metrik internal seperti:

  • Pelacakan status pekerja: Waktu yang dihabiskan dalam status active, queue_blocked, io_blocked, compressing, dan hashing.
  • I/O dan throughput: Byte baca dan tulis, throughput transfer, dan kecepatan transkode potongan.
  • Dinamika antrean: Ukuran buffer dan antrean pekerja di seluruh tahap pipeline eksekusi.
  • Metrik sistem: Pengaturan waktu operasi tingkat rendah yang dikorelasikan dengan stempel waktu presisi nanodetik.

Trace penghitung performa hanya mengumpulkan metadata eksekusi dan statistik pengaturan waktu. Google tidak mengumpulkan konten set data, catatan pelanggan, atau informasi identitas pribadi (PII).

Mengaktifkan penghitung performa

Penghitung performa dinonaktifkan secara default. Anda dapat mengaktifkannya dengan menyetel variabel lingkungan MFC_PERF_FILE ke jalur output target sebelum menjalankan tugas Mainframe Connector.

Lingkungan shell

Untuk mengaktifkan penghitung performa di lingkungan shell dalam Linux atau z/OS UNIX System Services, ekspor MFC_PERF_FILE sebelum memanggil Mainframe Connector:

export MFC_PERF_FILE="/tmp/mfc_perf.perf"
copy binary file:/path/to/file gs://bucket/path/to/object

Untuk menonaktifkan pengumpulan penghitung performa, batalkan setelan variabel lingkungan:

unset MFC_PERF_FILE

Lingkungan JCL mainframe

Untuk mengaktifkan penghitung performa untuk tugas JCL yang menjalankan Mainframe Connector, tentukan MFC_PERF_FILE dalam prosedur Mainframe Connector atau prosedur tugas PARM. Saat Anda memberikan PARM Anda sendiri, selalu pertahankan default PARM (/I+ com.google.bqsh.Bqsh) juga.

Contoh berikut menunjukkan cara mengaktifkan penghitung performa untuk pekerjaan JCL:

//STEP01 EXEC BQSH,PARMDD=MFCPERF
//INFILE DD DSN=HLQ.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DSN=HLQ.COPYBOOK.FILENAME,DISP=SHR
//MFCPERF DD *
ENVAR("MFC_PERF_FILE=/tmp/mfc_perf.perf")/I+
com.google.bqsh.Bqsh
/*
//STDIN DD *
BUCKET=my-target-bucket-1234
gsutil cp --replace gs://$BUCKET/tablename.orc
/*

Mengonfigurasi penghitung performa

Anda dapat mengonfigurasi frekuensi pengambilan sampel dan ukuran file maksimum log penghitung performa menggunakan variabel lingkungan berikut:

Variabel lingkungan Deskripsi Nilai default
MFC_PERF_FILE Jalur tempat metrik penghitung performa akan ditulis. Jika tidak disetel atau kosong, pengumpulan penghitung performa akan dinonaktifkan. Nonaktif
MFC_PREF_COLLECTION_INTERVAL_MS Frekuensi pengambilan sampel dalam milidetik. Menentukan seberapa sering metrik ditulis ke file output. 100 (0,1 detik)
MFC_MAX_PERF_MAX_FILE_SIZE_BYTES Batas ukuran maksimum untuk file output dalam byte. Setelah tercapai, penulisan akan berhenti secara otomatis untuk mencegah pengisian penyimpanan disk. 67108864 (64 MiB)

Mengirim file penghitung ke Dukungan Google untuk dianalisis

File output yang dihasilkan oleh fitur penghitung performa (misalnya, /tmp/mfc_performance.perf) diformat sebagai set data biner yang berisi skema metrik terstruktur dan catatan pengukuran. Teks ini bukan teks biasa yang dapat dibaca oleh manusia dan tidak dapat dievaluasi secara langsung dengan pelihat log standar.

File output memerlukan alat analisis internal Google dan visualisasi metrik khusus untuk mendekode transisi status dan grafik kedalaman antrean. Untuk menganalisis data performa, kirimkan file yang dihasilkan ke Google Cloud Dukungan atau Technical Account Manager Anda.

Saat Anda membuka kasus dukungan terkait masalah performa, throughput transcoding yang lambat, atau durasi tugas yang tidak terduga, ikuti langkah-langkah berikut:

  1. Tetapkan MFC_PERF_FILE ke jalur yang valid (misalnya, /tmp/mfc_perf.perf).
  2. Reproduksi masalah dengan menjalankan eksekusi tugas di bawah pemantauan performa.
  3. Ambil file .perf yang dihasilkan dari jalur yang ditentukan.
  4. Lampirkan file .perf beserta log tugas Anda ke Google Cloud Kasus dukungan untuk dievaluasi oleh engineer Google.