インタラクティブ セッションのモニタリングとトラブルシューティング

このドキュメントでは、Spark UI を使用して Apache Spark 向け Serverless の インタラクティブ セッション をモニタリングしてトラブルシューティングを行う方法について説明します。

Spark UI

Spark UI は、Apache Spark 向け Serverless のインタラクティブ セッションから Apache Spark の実行の詳細を収集します。デフォルトで有効になっている Spark UI 機能は無料で使用できます。 Spark UI 機能で収集されたデータは 90 日間保持されます。

必要な Identity and Access Management の権限とロール

インタラクティブ セッションで Spark UI 機能を使用するには、次の権限が必要です。

  • データ収集権限: dataproc.sessions.sparkApplicationWrite。この 権限は、インタラクティブ セッションを実行するサービス アカウントに付与する必要があります。 この権限は Dataproc Worker ロールに含まれています。このロールは、Apache Spark 向け Serverless がデフォルトで使用する Compute Engine のデフォルトのサービス アカウント に自動的に付与されます。ただし、セッションまたはセッション ランタイム テンプレートに カスタム サービス アカウント を指定する場合は、そのサービス アカウントに dataproc.sessions.sparkApplicationWrite権限を追加する必要があります （通常は、サービス アカウントに Dataproc Workerロールを付与します）。

  • Spark UI アクセス権限: dataproc.sessions.sparkApplicationRead。コンソールで Spark UI にアクセスするには、この 権限をユーザーに付与する必要があります。Google Cloud この権限は、 Dataproc Viewer、Dataproc Editor、Dataproc Administrator の各ロールに含まれています。コンソールで Spark UI を開くには、これらのロールのいずれか、またはこの権限を含むカスタムロールが必要です。 Google Cloud

Spark UI を開く

Spark UI ページは Google Cloud コンソールで利用できます。

  1. Dataproc インタラクティブ セッションに移動

  2. [インタラクティブ セッション ID] をクリックして、[インタラクティブ セッションの詳細] ページを開きます。
  3. 上部のメニューで [Spark UI を表示] をクリックします。

[Spark UI を表示] リンクが無効になっている場合必要な権限が付与されていない場合、またはインタラクティブ セッションの詳細ページで [Spark UI を有効にする] チェックボックスをオフにした場合、あるいはセッションまたはセッション ランタイム テンプレートの作成時に spark.dataproc.appContext.enabled プロパティを false（デフォルト: true）に設定した場合、[Spark UI を表示] ボタンは無効になります。