Memantau dan memecahkan masalah sesi interaktif

Dokumen ini menjelaskan cara memantau dan memecahkan masalah sesi interaktif Managed Service untuk Apache Spark menggunakan Spark UI.

Spark UI

Spark UI mengumpulkan detail eksekusi Apache Spark dari sesi interaktif Managed Service untuk Apache Spark. Tidak ada biaya untuk fitur Spark UI, yang diaktifkan secara default. Data yang dikumpulkan oleh fitur Spark UI disimpan selama 90 hari.

Catatan: Spark UI juga mengumpulkan dan menampilkan detail eksekusi dari workload batch Managed Service untuk Apache Spark. Lihat Memantau dan memecahkan masalah workload batch untuk mengetahui informasi selengkapnya.

Peran dan izin Identity and Access Management yang diperlukan

Izin berikut diperlukan untuk menggunakan fitur Spark UI dengan sesi interaktif:

• Izin pengumpulan data: dataproc.sessions.sparkApplicationWrite. Izin ini harus diberikan ke akun layanan yang menjalankan sesi interaktif. Izin ini disertakan dalam peran Managed Service for Apache Spark Worker, yang otomatis diberikan ke akun layanan default Compute Engine yang digunakan Managed Service untuk Apache Spark secara default. Namun, jika Anda menentukan akun layanan kustom untuk sesi atau template runtime sesi, Anda harus menambahkan izin dataproc.sessions.sparkApplicationWrite ini ke akun layanan tersebut (biasanya, dengan memberikan peran Managed Service untuk Apache Spark Worker ke akun layanan).

• Izin akses Spark UI: dataproc.sessions.sparkApplicationRead. Izin ini harus diberikan kepada pengguna untuk mengakses Spark UI di Google Cloud konsol. Izin ini disertakan dalam peran Dataproc Viewer, Dataproc Editor dan Dataproc Administrator. Untuk membuka Spark UI di Google Cloud konsol, Anda harus memiliki salah satu peran ini atau memiliki peran kustom yang menyertakan izin ini.

Membuka Spark UI

Halaman Spark UI tersedia di Google Cloud konsol.

1. Buka Sesi Interaktif Managed Service untuk Apache Spark

2. Klik ID Sesi Interaktif untuk membuka halaman Detail Sesi Interaktif.
3. Klik Lihat Spark UI di menu atas.

Apakah link Lihat Spark UI dinonaktifkan? Jika izin yang diperlukan tidak diberikan, atau jika Anda menghapus centang kotak Aktifkan Spark UI di halaman detail sesi interaktif atau menetapkan properti spark.dataproc.appContext.enabled ke false (default: true) saat Anda membuat sesi atau membuat template runtime sesi, tombol Lihat Spark UI akan dinonaktifkan.