Memantau dan memecahkan masalah sesi interaktif

Dokumen ini menjelaskan cara memantau dan memecahkan masalah sesi interaktif Managed Service untuk Apache Spark menggunakan UI Spark.

Spark UI

UI Spark mengumpulkan detail eksekusi Apache Spark dari sesi interaktif Managed Service untuk Apache Spark. Fitur Spark UI tidak dikenai biaya dan diaktifkan secara default. Data yang dikumpulkan oleh fitur Spark UI disimpan selama 90 hari.

Izin dan peran Identity and Access Management yang diperlukan

Izin berikut diperlukan untuk menggunakan fitur UI Spark dengan sesi interaktif:

  • Izin pengumpulan data: dataproc.sessions.sparkApplicationWrite. Izin ini harus diberikan ke akun layanan yang menjalankan sesi interaktif. Peran ini disertakan dalam peran Managed Service for Apache Spark Worker, yang otomatis diberikan ke akun layanan default Compute Engine yang digunakan Managed Service untuk Apache Spark secara default. Namun, jika Anda menentukan akun layanan kustom untuk sesi atau template runtime sesi, Anda harus menambahkan izin dataproc.sessions.sparkApplicationWrite ini ke akun layanan tersebut (biasanya, dengan memberikan peran Managed Service untuk Apache Spark Worker ke akun layanan).

  • Izin akses Spark UI: dataproc.sessions.sparkApplicationRead. Izin ini harus diberikan kepada pengguna untuk mengakses UI Spark di konsolGoogle Cloud . Izin ini disertakan dalam peran Dataproc Viewer, Dataproc Editor, dan Dataproc Administrator. Untuk membuka UI Spark di konsol Google Cloud , Anda harus memiliki salah satu peran ini atau memiliki peran kustom yang mencakup izin ini.

Membuka Spark UI

Halaman UI Spark tersedia di konsol Google Cloud .

  1. Buka Sesi Interaktif Managed Service untuk Apache Spark

  2. Klik ID Sesi Interaktif untuk membuka halaman Detail Sesi Interaktif.
  3. Klik View Spark UI di menu atas.

Apakah link View Spark UI dinonaktifkan? Jika izin yang diperlukan tidak diberikan, atau jika Anda menghapus centang kotak Aktifkan UI Spark di halaman detail sesi interaktif atau menetapkan properti spark.dataproc.appContext.enabled ke false (default: true) saat Anda membuat sesi atau membuat template runtime sesi, tombol Lihat UI Spark akan dinonaktifkan.