このドキュメントでは、Managed Service for Apache Spark のバッチ ワークロードのモニタリングとトラブルシューティングに使用できるツールとファイルについて説明します。
Google Cloud コンソールからワークロードのトラブルシューティングを行う
バッチジョブが失敗した場合やパフォーマンスが低い場合は、まず、 Google Cloud コンソールの [ジョブ] ページの [サーバーレス Spark] タブでバッチのジョブ ID をクリックして、[ジョブの詳細]（[バッチの詳細]）ページを開くことをおすすめします。
[概要] タブを使用する: トラブルシューティングのハブ
[概要] タブは、バッチの [ジョブの詳細] ページを開いたときにデフォルトで選択されます。このタブには、バッチの健全性を迅速に評価するのに役立つ重要な指標とフィルタされたログが表示されます。この初期評価の後、バッチの [ジョブの詳細] ページから利用できるより専門的なツール（Spark UI、ログ エクスプローラ、Gemini Cloud Assist など）を使用して、より詳細な分析を行うことができます。
バッチ指標のハイライト
バッチの [ジョブの詳細] ページの [概要] タブと [モニタリング] タブには、重要なバッチ ワークロード指標の値を表示するグラフが含まれています。指標グラフは、完了後に表示され、リソースの競合、データスキュー、メモリの負荷などの潜在的な問題を視覚的に示します。
次の表は、 Google Cloud コンソールのバッチ [ジョブの詳細] ページに表示される Spark ワークロードの指標の一覧と、指標の値からワークロードのステータスとパフォーマンスに関する分析情報を得る方法について説明します。
| 指標 | 確認できるポイント |
|---|---|
| エグゼキュータ レベルの指標 | |
| JVM GC 時間と実行時間の比率 | この指標は、エグゼキュータごとの JVM GC（ガベージ コレクション）時間と実行時間の比率を示します。比率が高い場合は、特定のエグゼキュータで実行されているタスク内のメモリリークや、非効率的なデータ構造を示している可能性があります。これにより、オブジェクト チャーンが高くなる可能性があります。 |
| ディスクにオーバーフローしたバイト数 | この指標は、さまざまなエグゼキュータに流出したディスク バイトの合計数を示します。エグゼキュータのディスク バイト数が多すぎる場合は、データスキューが発生している可能性があります。この指標が時間の経過とともに増加する場合は、メモリ不足またはメモリリークが発生しているステージがあることを示している可能性があります。 |
| 読み取りバイト数と書き込みバイト数 | この指標は、エグゼキュータごとの書き込みバイト数と読み取りバイト数を示します。読み取りバイト数または書き込みバイト数に大きな差異がある場合は、複製された結合によって特定のエグゼキュータでデータが増幅されている可能性があります。 |
| 読み取り / 書き込みされたレコード | この指標は、エグゼキュータごとの読み取りと書き込みのレコードを示します。読み取られたレコード数が多く、書き込まれたレコード数が少ない場合は、特定の Executor の処理ロジックにボトルネックがあり、待機中にレコードが読み取られている可能性があります。読み取りと書き込みで一貫して遅延が発生するエグゼキュータは、それらのノードでのリソース競合や、エグゼキュータ固有のコードの非効率性を示している可能性があります。 |
| シャッフル書き込み時間と実行時間の比率 | この指標は、全体の実行時間に対して、エグゼキュータがシャッフル実行時間に費やした時間を示します。一部のエグゼキュータでこの値が高い場合は、データスキューまたはデータのシリアル化が非効率的であることを示している可能性があります。Spark UI で、シャッフル書き込み時間が長いステージを特定できます。これらのステージ内で、完了までに平均時間を超える外れ値タスクを探します。シャッフル書き込み時間が長いエグゼキュータで、ディスク I/O アクティビティも高くなっているかどうかを確認します。より効率的なシリアル化と追加のパーティショニング手順が役立つ場合があります。レコードの読み取りと比較してレコードの書き込みが非常に多い場合は、非効率的な結合や不適切な変換による意図しないデータの重複を示している可能性があります。 |
| アプリケーション レベルの指標 | |
| ステージの移行 | この指標は、失敗、待機中、実行中のステージの数を示します。失敗したステージや待機中のステージが多数ある場合は、データスキューが発生している可能性があります。データ パーティションを確認し、Spark UI の [Stages] タブを使用して、ステージが失敗した理由をデバッグします。 |
| バッチ Spark エグゼキュータ | この指標は、必要になる可能性のあるエグゼキュータの数と、実行中のエグゼキュータの数を示します。必要なエグゼキュータと実行中のエグゼキュータの間に大きな差がある場合は、自動スケーリングの問題を示している可能性があります。 |
| VM レベルの指標 | |
| 使用されたメモリ | この指標は、使用中の VM メモリの割合を示します。マスターの割合が高い場合、ドライバがメモリ不足に陥っている可能性があります。他の VM ノードでは、割合が高い場合、エグゼキュータがメモリ不足であることを示している可能性があります。これにより、ディスクの流出が高まり、ワークロード実行時間が遅くなる可能性があります。Spark UI を使用してエグゼキュータを分析し、GC 時間の長さとタスクの失敗率の高さを確認します。また、大規模なデータセットのキャッシュ保存と変数の不要なブロードキャストに関する Spark コードをデバッグします。 |
ジョブのログ
バッチの [ジョブの詳細] ページには、[ジョブログ] タブ（とログのハイライト）があり、ジョブ（バッチ ワークロード）ログからフィルタリングされた警告とエラーが一覧表示されます。この機能により、大規模なログファイルを手動で解析することなく、重大な問題を迅速に特定できます。プルダウン メニューからログの [重大度]（Error など）を選択し、テキスト [フィルタ] を追加して結果を絞り込むことができます。より詳細な分析を行うには、[ログ エクスプローラで表示] アイコンをクリックして、選択したバッチログをログ エクスプローラで開きます。
例: Google Cloud コンソールのバッチ [ジョブの詳細] ページで重大度セレクタから Errors を選択すると、[ログ エクスプローラ] が開きます。
Spark UI
Spark UI は、Managed Service for Apache Spark バッチ ワークロードから Apache Spark の実行の詳細を収集します。Spark UI 機能はデフォルトで有効になっており、料金はかかりません。
Spark UI 機能によって収集されたデータは 90 日間保持されます。このウェブ インターフェースを使用すると、永続履歴サーバーを作成することなく、Spark ワークロードをモニタリングしてデバッグできます。
必要な Identity and Access Management の権限とロール
バッチ ワークロードで Spark UI 機能を使用するには、次の権限が必要です。
データの収集権限:
dataproc.batches.sparkApplicationWrite。この権限は、バッチ ワークロードを実行するサービス アカウントに付与する必要があります。この権限はManaged Service for Apache Spark Workerロールに含まれています。このロールは、Managed Service for Apache Spark がデフォルトで使用する Compute Engine のデフォルトのサービス アカウントに自動的に付与されます（Managed Service for Apache Spark サービス アカウントをご覧ください）。ただし、バッチ ワークロードにカスタム サービス アカウントを指定する場合は、そのサービス アカウントにdataproc.batches.sparkApplicationWrite権限を追加する必要があります（通常は、サービス アカウントに Managed Service for Apache Spark のWorkerロールを付与します）。Spark UI のアクセス権限:
dataproc.batches.sparkApplicationRead。Google Cloud コンソールで Spark UI にアクセスするには、この権限をユーザーに付与する必要があります。この権限は、Dataproc Viewerロール、Dataproc EditorロールとDataproc Administratorロールに含まれています。 Google Cloud コンソールで Spark UI を開くには、これらのロールのいずれか、またはこの権限を含むカスタムロールが必要です。
Spark UI を開く
Spark UI ページは、 Google Cloud コンソールのバッチ ワークロードで使用できます。
Google Cloud コンソールで、Managed Service for Apache Spark の [ジョブ] ページに移動します。
[サーバーレス Spark] タブを選択し、バッチのジョブ ID をクリックして、[ジョブの詳細] ページを開きます。
[Spark UI で表示]（[Spark アプリケーション ID] の横）または [Spark UI を表示] をクリックします。
[Spark UI で表示] リンクは、次の場合に無効になります。
- 必要な権限が付与されていない場合
- バッチの [ジョブの詳細] ページで Spark UI が有効になっていない場合
- バッチ ワークロードを送信するときに
spark.dataproc.appContext.enabledプロパティをfalseに設定した場合
Managed Service for Apache Spark のログ
Managed Service for Apache Spark では、ロギングがデフォルトで有効になっており、ワークロードが完了した後にワークロード ログが保持されます。Managed Service for Apache Spark は、Cloud Logging でワークロード ログを収集します。Managed Service for Apache Spark のログには、ログ エクスプローラの Cloud Dataproc Batch リソースでアクセスできます。
Managed Service for Apache Spark のログをクエリする
Google Cloud コンソールのログ エクスプローラには、バッチ ワークロード ログを調べるクエリを作成するためのクエリペインがあります。バッチ ワークロード ログを調べるクエリを作成する手順は次のとおりです。
- 現在のプロジェクトが選択されています。[プロジェクトのスコープを絞り込む] をクリックして、別のプロジェクトを選択できます。
バッチログクエリを定義します。
フィルタ メニューを使用して、バッチ ワークロードをフィルタします。
[すべてのリソース] で、[Cloud Managed Service for Apache Spark Batch] リソースを選択します。
[リソースの選択] パネルで、バッチの [ロケーション]、[バッチ ID] の順に選択します。これらのバッチ パラメータは、 Google Cloud コンソールの Managed Service for Apache Spark の [ジョブ] ページの [サーバーレス Spark] タブに表示されます。
[適用] をクリックします。
[ログ名を選択] で、[ログ名を検索] ボックスに「
dataproc.googleapis.com」と入力して、クエリするログタイプを制限します。表示されたログファイル名を 1 つ以上選択します。
クエリエディタを使用して、VM 固有のログをフィルタします。
次の例に示すように、リソースタイプと VM リソース名を指定します。
resource.type="cloud_dataproc_batch" labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCH_UUID-VM_SUFFIX"
- VM_NAME_PREFIX: Managed Service for Apache Spark
3.0以降のランタイム バージョンで実行されるバッチ ワークロードにはgdpic-rmを使用します。以前のランタイム バージョンで実行されるバッチ ワークロードにはgdpic-srvls-batchを使用します。 - BATCH_UUID: バッチのジョブ UUID は、 Google Cloud コンソールのバッチのジョブの詳細（バッチの詳細）ページに表示されます。このページは、[ジョブ] ページの [サーバーレス Spark] タブでバッチのジョブ ID をクリックすると開きます。
バッチログには、VM リソース名のバッチ UUID も一覧表示されます。バッチ driver.log の例を次に示します。
- VM_NAME_PREFIX: Managed Service for Apache Spark
[クエリを実行] をクリックします。
Managed Service for Apache Spark のログタイプとサンプルクエリ
次のリストに、さまざまな Managed Service for Apache Spark ログタイプと、各ログタイプのログ エクスプローラのクエリの例を示します。
dataproc.googleapis.com/output: このログファイルには、バッチ ワークロードの出力内容が含まれています。Managed Service for Apache Spark は、バッチ出力をoutputNamespace にストリーミングし、ファイル名をJOB_ID.driver.logに設定します。出力ログのログ エクスプローラ クエリの例:
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Foutput"
dataproc.googleapis.com/spark:sparkNamespace は、Managed Service for Apache Spark クラスタのクラスタ マスター VM とワーカー VM で実行されているデーモンとエグゼキュータの Spark ログを集約します。各ログエントリには、ログソースを識別するmaster、worker、またはexecutorコンポーネントラベルが含まれています。executor: ユーザーコード エグゼキュータからのログ。通常、これらは分散ログです。master: Spark スタンドアロン リソース マネージャー マスターのログ。Managed Service for Apache Spark YARNResourceManagerログに似ています。worker: Spark スタンドアロン リソース マネージャー ワーカーのログ。Managed Service for Apache Spark YARNNodeManagerログに似ています。
sparkNamespace 内のすべてのログに対するログ エクスプローラのクエリの例:resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"
sparkNamespace の Spark スタンドアロン コンポーネント ログのサンプル ログ エクスプローラ クエリ:resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark" jsonPayload.component="COMPONENT"
dataproc.googleapis.com/startup:startupNamespace には、バッチ（クラスタ）の起動ログが含まれます。初期化スクリプトのログが含まれます。コンポーネントはラベルで識別されます。次に例を示します。startup-script[855]: ... activate-component-spark[3050]: ... enable spark-worker
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fstartup" labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCH_UUID-VM_SUFFIX"
dataproc.googleapis.com/agent:agentNamespace は、Managed Service for Apache Spark エージェント ログを集約します。各ログエントリには、ログソースを識別するファイル名ラベルが含まれています。指定したワーカー VM によって生成されたエージェントログのログ エクスプローラ クエリの例:
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fagent" labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCHUUID-wWORKER#"
dataproc.googleapis.com/autoscaler:autoscalerNamespace は、Managed Service for Apache Spark のオートスケーラー ログを集約します。指定したワーカー VM によって生成されたオートスケーラー ログのログ エクスプローラ クエリの例:
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fautoscaler" labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCHUUID-wWORKER#"
詳細については、Managed Service for Apache Spark のログをご覧ください。
Managed Service for Apache Spark の監査ログについては、Managed Service for Apache Spark の監査ロギングをご覧ください。
ワークロード指標
Managed Service for Apache Spark には、 Google Cloud コンソールの Metrics Explorer またはバッチの [ジョブの詳細] ページで確認できるバッチ指標と Spark 指標が用意されています。
バッチ指標
Managed Service for Apache Spark batch リソース指標は、バッチ エグゼキュータの数など、バッチリソースに関する分析情報を提供します。バッチ指標には dataproc.googleapis.com/batch という接頭辞が付いています。
Spark 指標
Managed Service for Apache Spark のデフォルトでは、Spark 指標収集プロパティを使用して無効にしない限り、利用可能な Spark 指標の収集が有効になります。または、1 つ以上の Spark 指標のコレクションをオーバーライドできます。
利用可能な Spark 指標には、Spark ドライバとエグゼキュータの指標、システム指標が含まれます。利用可能な Spark 指標には custom.googleapis.com/ という接頭辞が付いています。
指標アラートを設定する
Managed Service for Apache Spark 指標アラートを作成すると、ワークロードの問題に関する通知を受け取ることができます。
グラフを作成
Google Cloud コンソールの Metrics Explorer を使用して、ワークロード指標を可視化するグラフを作成できます。たとえば、disk:bytes_used を表示するグラフを作成し、batch_id でフィルタできます。
Cloud Monitoring
Monitoring では、ワークロードのメタデータと指標を使用して、Managed Service for Apache Spark ワークロードの健全性とパフォーマンスに関する分析情報を提供します。ワークロード指標には、Spark 指標、バッチ指標、オペレーション指標が含まれます。
Google Cloud コンソールの Cloud Monitoring を使用すると、指標の確認、グラフの追加、ダッシュボードの作成、アラートの作成を行えます。
ダッシュボードの作成
複数のプロジェクトとさまざまな Google Cloud プロダクトの指標を使用して、ワークロードをモニタリングするダッシュボードを作成できます。詳細については、カスタム ダッシュボードの作成と管理をご覧ください。
永続的履歴サーバー
Apache Spark 向けマネージド サービスは、ワークロードの実行に必要なコンピューティング リソースを作成し、それらのリソースでワークロードを実行し、ワークロードが終了するとリソースを削除します。ワークロードの指標とイベントは、ワークロードの完了後に保持されません。ただし、永続的履歴サーバー（PHS）を使用すると、ワークロード アプリケーションの履歴（イベントログ）を Cloud Storage に保持できます。
バッチ ワークロードで PHS を使用する手順は次のとおりです。
ワークロードを送信するときに PHS を指定します。
コンポーネント ゲートウェイを使用して PHS に接続し、アプリケーションの詳細、スケジューラ ステージ、タスクレベルの詳細、環境とエグゼキュータの情報を表示します。
自動チューニング
- Managed Service for Apache Spark の自動チューニングを有効にする: Google Cloud コンソール、gcloud CLI、または Managed Service for Apache Spark API を使用して、定期的な各 Spark バッチ ワークロードを送信するときに、Managed Service for Apache Spark の自動チューニングを有効にできます。
コンソール
次の手順を実行して、繰り返しの Spark バッチ ワークロードで自動チューニングを有効にします。
Google Cloud コンソールで、Managed Service for Apache Spark の [ジョブ] ページに移動します。
バッチ ワークロードを作成するには、[ジョブを送信] をクリックして [ジョブを送信] ページを開きます。
[ジョブのコンピュート タイプの選択] で、[サーバーレス Spark] が選択されていることを確認します。
[サーバーレス ジョブの詳細] セクションで、次の操作を行います。
- ジョブ ID を指定するか、デフォルトの ID をそのまま使用します。
- [ランタイム プロファイル] を選択するか、リージョンの [デフォルトのサービス構成] を保持します。[概要] カードの [構成] をクリックするか、[ランタイム プロファイル] メニューの [新しいプロファイルを作成] をクリックして、ランタイム プロファイル構成パネルを開きます。
- ランタイム プロファイルの構成パネルで、[追加の構成] を開き、[その他のカスタマイズ] の横にある [編集] をクリックします。
- [その他のカスタマイズ] パネルの [自動チューニング] で、[有効にする] をクリックし、[コホート ID] に入力します。これにより、バッチが一連の繰り返しワークロードの 1 つとして識別されます。Gemini 支援の分析は、このコホート ID で送信された 2 回目以降のワークロードに適用されます。たとえば、毎日 TPC-H クエリを実行するスケジュール設定されたワークロードのコホート ID として
tpch-query1を指定します。 - [その他のカスタマイズ] パネルで [保存] をクリックし、ランタイム プロファイル構成パネルで [構成を使用]（または [新しいプロファイルを保存]）をクリックします。
[ジョブの送信] ページの [ファイルとアーティファクト] セクションと [ジョブの実行とプロパティ] セクションに必要に応じて入力し、[送信] をクリックします。詳細については、バッチ ワークロードを送信するをご覧ください。
gcloud
次の gcloud CLI gcloud dataproc batches submit コマンドをターミナル ウィンドウでローカルに実行するか、Cloud Shell で実行して、繰り返しの Spark バッチ ワークロードで自動チューニングを有効にします。
gcloud dataproc batches submit COMMAND \ --region=REGION \ --cohort=COHORT \ other arguments ...
次のように置き換えます。
- COMMAND: Spark ワークロード タイプ（
Spark、PySpark、Spark-Sql、Spark-Rなど）。 - REGION： ワークロードが実行される リージョンを指定します。
- COHORT: コホート名。バッチが一連の繰り返しワークロードの 1 つとして識別されます。Gemini 支援の分析は、このコホート名で送信された 2 回目以降のワークロードに適用されます。たとえば、毎日 TPC-H クエリを実行するスケジュール設定されたワークロードのコホート名として
TPCH Query 1を指定します。
API
batches.create リクエストに RuntimeConfig.cohort 名を含めて、繰り返しの Spark バッチ ワークロードで自動チューニングを有効にします。自動チューニングは、このコホート名で送信された 2 回目以降のワークロードに適用されます。たとえば、毎日 TPC-H クエリを実行するスケジュール設定されたワークロードのコホート名として TPCH-Query1 を指定します。
例:
...
runtimeConfig:
cohort: TPCH-Query1
...