Memantau dan memecahkan masalah sesi interaktif

Dokumen ini menjelaskan cara memantau dan memecahkan masalah sesi interaktif Managed Service untuk Apache Spark menggunakan Spark UI.

Spark UI

Spark UI mengumpulkan detail eksekusi Apache Spark dari sesi interaktif Managed Service untuk Apache Spark. Tidak ada biaya untuk fitur Spark UI, yang diaktifkan secara default. Data yang dikumpulkan oleh fitur Spark UI disimpan selama 90 hari.

Izin dan peran Identity and Access Management yang diperlukan

Izin berikut diperlukan untuk menggunakan fitur Spark UI dengan sesi interaktif:

  • Izin pengumpulan data: dataproc.sessions.sparkApplicationWrite. Izin ini harus diberikan ke akun layanan yang menjalankan sesi interaktif. Izin ini disertakan dalam peran Managed Service for Apache Spark Worker, yang otomatis diberikan ke akun layanan default Compute Engine yang digunakan Managed Service untuk Apache Spark secara default. Namun, jika Anda menentukan akun layanan kustom untuk sesi atau profil runtime (template sesi), Anda harus menambahkan izin dataproc.sessions.sparkApplicationWrite ini ke akun layanan tersebut (biasanya, dengan memberikan peran Worker Managed Service untuk Apache Spark ke akun layanan).

  • Izin akses Spark UI: dataproc.sessions.sparkApplicationRead. Izin ini harus diberikan kepada pengguna untuk mengakses UI Spark di konsolGoogle Cloud . Izin ini disertakan dalam peran Dataproc Viewer, Dataproc Editor, dan Dataproc Administrator. Untuk membuka Spark UI di konsol Google Cloud , Anda harus memiliki salah satu peran ini atau memiliki peran khusus yang menyertakan izin ini.

Membuka Spark UI

Halaman Spark UI tersedia di konsol Google Cloud .

  1. Buka Managed Service untuk Sesi Interaktif Apache Spark

  2. Klik Interactive Session ID untuk membuka halaman Interactive Session Details.
  3. Klik View Spark UI di menu atas.

Apakah link View Spark UI dinonaktifkan? Jika izin yang diperlukan tidak diberikan, atau jika Anda menghapus centang pada kotak Enable Spark UI di halaman detail sesi interaktif atau menetapkan properti spark.dataproc.appContext.enabled ke false (default: true) saat Anda membuat sesi atau membuat profil runtime (template sesi), tombol View Spark UI akan dinonaktifkan.