このガイドでは、Mainframe Connector でパフォーマンス カウンタ トレースを有効にして収集する方法について説明します。
概要
パフォーマンス カウンタは、データセットのトランスコード、Cloud Storage へのアップロード、BigQuery へのデータ読み込みなど、Mainframe Connector のオペレーション中に高解像度の実行指標とスレッドレベルの状態データをキャプチャします。 カウンタ トレースを使用して、パフォーマンスのボトルネック、メモリまたはキューのバックプレッシャー、スレッドのブロック、ネットワークまたは I/O の制約、メインフレーム システムのリソース使用量を診断できます。
キャプチャされる主な指標
パフォーマンス カウンタ トレースには、次のような内部指標の高頻度サンプルが含まれます。
- ワーカーの状態のトラッキング:
active、queue_blocked、io_blocked、compressing、hashingの各状態での経過時間。 - I/O とスループット: 読み取りバイト数と書き込みバイト数、転送スループット、チャンクのトランスコード レート。
- キューの動的変化: 実行パイプラインのステージ全体のバッファとワーカーキューのサイズ。
- システム指標: ナノ秒精度のタイムスタンプに関連付けられた低レベルのオペレーション タイミング。
パフォーマンス カウンタ トレースは、実行メタデータとタイミング統計情報のみを収集します。 データセットの内容、顧客レコード、個人を特定できる情報（PII）は収集されません。
パフォーマンス カウンタを有効にする
パフォーマンス カウンタはデフォルトで無効になっています。Mainframe Connector ジョブを実行する前に、MFC_PERF_FILE 環境変数をターゲット出力パスに設定すると、有効にできます。
シェル環境
Linux または z/OS UNIX System Services 内のシェル環境でパフォーマンス カウンタを有効にするには、Mainframe Connector を呼び出す前に MFC_PERF_FILE をエクスポートします。
export MFC_PERF_FILE="/tmp/mfc_perf.perf"
copy binary file:/path/to/file gs://bucket/path/to/object
パフォーマンス カウンタの収集を無効にするには、環境変数の設定を解除します。
unset MFC_PERF_FILE
メインフレーム JCL 環境
Mainframe Connector を実行する JCL ジョブのパフォーマンス カウンタを有効にするには、Mainframe Connector プロシージャまたはジョブのプロシージャ PARM で MFC_PERF_FILE を定義します。
独自の PARM を指定する場合は、デフォルトの PARM（/I+ com.google.bqsh.Bqsh）も常に保持してください。
次の例は、JCL ジョブのパフォーマンス カウンタを有効にする方法を示しています。
//STEP01 EXEC BQSH,PARMDD=MFCPERF
//INFILE DD DSN=HLQ.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DSN=HLQ.COPYBOOK.FILENAME,DISP=SHR
//MFCPERF DD *
ENVAR("MFC_PERF_FILE=/tmp/mfc_perf.perf")/I+
com.google.bqsh.Bqsh
/*
//STDIN DD *
BUCKET=my-target-bucket-1234
gsutil cp --replace gs://$BUCKET/tablename.orc
/*
パフォーマンス カウンタを構成する
次の環境変数を使用して、パフォーマンス カウンタ ログのサンプリング頻度と最大ファイルサイズを構成できます。
| 環境変数 | 説明 | デフォルト値 |
|---|---|---|
MFC_PERF_FILE |
パフォーマンス カウンタの指標が書き込まれるパス。 設定されていない場合、または空の場合、パフォーマンス カウンタの収集は無効になります。 | 無効 |
MFC_PREF_COLLECTION_INTERVAL_MS |
サンプリング頻度（ミリ秒単位）。指標が出力ファイルにフラッシュされる頻度を指定します。 | 100（0.1 秒） |
MFC_MAX_PERF_MAX_FILE_SIZE_BYTES |
出力ファイルの最大サイズ制限（バイト単位）。このサイズに達すると、 書き込みが自動的に停止して、ディスク ストレージがいっぱいになるのを防ぎます。 | 67108864（64 MiB） |
分析のためにカウンタ ファイルを Google サポートに送信する
パフォーマンス カウンタ機能によって生成される出力ファイル（/tmp/mfc_performance.perf など）は、構造化された指標スキーマと測定レコードを含むバイナリ データセットとしてフォーマットされます。人間が読めるプレーン テキストではなく、標準のログビューアで直接評価することはできません。
出力ファイルでは、状態遷移とキューの深さのグラフをデコードするために、Google の内部分析ツールと専用の指標ビジュアライザが必要です。 パフォーマンス データを分析するには、生成されたファイルを Google Cloud サポートまたは テクニカル アカウント マネージャーに送信してください。
パフォーマンスの問題、トランスコード スループットの低下、ジョブの実行時間の予期しない増加に関するサポートケースを開く場合は、次の手順を行います。
MFC_PERF_FILEを有効なパス（/tmp/mfc_perf.perfなど）に設定します。- パフォーマンス モニタリングでジョブの実行を行い、問題を再現します。
- 指定したパスから生成された
.perfファイルを取得します。 .perfファイルとジョブログを Google Cloud サポートケース に添付して、Google のエンジニアによる評価を依頼します。