Spark UI
Spark UI は、Managed Service for Apache Spark のインタラクティブ セッションから Apache Spark の実行の詳細を収集します。Spark UI 機能はデフォルトで有効になっており、料金は発生しません。Spark UI 機能によって収集されたデータは 90 日間保持されます。
必要な Identity and Access Management の権限とロール
インタラクティブ セッションで Spark UI 機能を使用するには、次の権限が必要です。
データ収集権限:
dataproc.sessions.sparkApplicationWrite。この権限は、インタラクティブ セッションを実行するサービス アカウントに付与する必要があります。この権限はManaged Service for Apache Spark Workerロールに含まれており、Managed Service for Apache Spark がデフォルトで使用する Compute Engine のデフォルトのサービス アカウントに自動的に付与されます。ただし、セッションまたはセッション ランタイム テンプレートにカスタム サービス アカウントを指定する場合は、このdataproc.sessions.sparkApplicationWrite権限をそのサービス アカウントに追加する必要があります(通常は、サービス アカウントに Managed Service for Apache Spark のWorkerロールを付与します)。Spark UI アクセス権限:
dataproc.sessions.sparkApplicationRead。Google Cloud コンソールで Spark UI にアクセスするには、この権限をユーザーに付与する必要があります。この権限は、Dataproc Viewer、Dataproc Editor、Dataproc Administratorのロールに含まれています。 Google Cloud コンソールで Spark UI を開くには、これらのロールのいずれか、またはこの権限を含むカスタムロールが必要です。
Spark UI を開く
Spark UI ページは Google Cloud コンソールで利用できます。
- [インタラクティブ セッション ID] をクリックして、[インタラクティブ セッションの詳細] ページを開きます。
- 上部のメニューで [View Spark UI] をクリックします。
[Spark UI を表示] リンクが無効になっていますか?必要な権限が付与されていない場合、またはインタラクティブ セッションの詳細ページで [Spark UI を有効にする] チェックボックスをオフにするか、セッションを作成するときに spark.dataproc.appContext.enabled プロパティを false(デフォルト: true)に設定するか、セッション ランタイム テンプレートを作成すると、[Spark UI を表示] ボタンが無効になります。