"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Memantau cluster dan tugas Managed Service untuk Apache Spark

Dokumen ini membahas alat dan teknik yang dapat Anda gunakan untuk memantau kesehatan dan performa cluster dan tugas Managed Spark.

Antarmuka web open source

Banyak komponen open source cluster Managed Service untuk Apache Spark, seperti Apache Hadoop dan Apache Spark, menyediakan antarmuka web. Antarmuka ini dapat digunakan untuk memantau resource cluster dan performa tugas. Misalnya, Anda dapat menggunakan UI Pengelola Resource YARN untuk melihat alokasi resource aplikasi YARN di cluster Managed Service untuk Apache Spark.

Persistent History Server

Antarmuka web Open Source yang berjalan di cluster tersedia saat cluster berjalan, tetapi akan dihentikan saat Anda menghapus cluster. Untuk melihat data cluster dan tugas setelah cluster dihapus, Anda dapat membuat Persistent History Server (PHS).

Contoh: Anda mengalami error atau perlambatan tugas yang ingin dianalisis. Anda menghentikan atau menghapus cluster tugas, lalu melihat dan menganalisis data histori tugas menggunakan PHS.

Setelah membuat PHS, Anda mengaktifkannya di cluster Managed Service untuk Apache Spark atau workload batch Managed Service untuk Apache Spark saat Anda membuat cluster atau mengirimkan workload batch. PHS dapat mengakses data histori untuk tugas yang dijalankan di beberapa cluster, sehingga Anda dapat memantau tugas di seluruh project, bukan memantau UI terpisah yang berjalan di cluster yang berbeda.

Log Managed Service untuk Apache Spark

Managed Service untuk Apache Spark mengumpulkan log yang dihasilkan oleh Apache Hadoop, Spark, Hive, ZooKeeper, dan sistem open source lainnya yang berjalan di cluster Anda, lalu mengirimkannya ke Logging. Log ini dikelompokkan berdasarkan sumber log, yang memungkinkan Anda memilih dan melihat log yang menarik bagi Anda: misalnya, log YARN NodeManager dan Spark Executor yang dihasilkan di cluster diberi label secara terpisah. Lihat Log Managed Service untuk Apache Spark untuk mengetahui informasi selengkapnya tentang konten dan opsi log Managed Service untuk Apache Spark.

Cloud Logging

Logging adalah sistem pengelolaan log real-time yang terkelola sepenuhnya. Sistem ini menyediakan penyimpanan untuk log yang di-ingest dari Google Cloud layanan dan alat untuk menelusuri, memfilter, dan menganalisis log dalam skala besar. Cluster Managed Service untuk Apache Spark menghasilkan beberapa log, termasuk log agen layanan Managed Service untuk Apache Spark, log startup cluster, dan log komponen OSS, seperti log YARN NodeManager.

Logging diaktifkan secara default di cluster Managed Service untuk Apache Spark dan workload batch Managed Service untuk Apache Spark. Log diekspor secara berkala ke Logging, tempat log tersebut tetap ada setelah cluster dihapus atau workload selesai.

Metrik Managed Service untuk Apache Spark

Metrik cluster dan tugas Managed Service untuk Apache Spark , yang diawali dengan dataproc.googleapis.com/, terdiri dari data deret waktu yang memberikan insight tentang performa cluster, seperti penggunaan CPU atau status tugas. Metrik kustom Managed Service untuk Apache Spark , yang diawali dengan custom.googleapis.com/, mencakup metrik yang dikeluarkan oleh sistem open source yang berjalan di cluster, seperti metrik running applications YARN. Memperoleh insight tentang metrik Managed Service untuk Apache Spark dapat membantu Anda mengonfigurasi cluster secara efisien. Menyiapkan pemberitahuan berbasis metrik dapat membantu Anda mengenali dan merespons masalah dengan cepat.

Google Cloud

Metrik cluster dan tugas Managed Service untuk Apache Spark dikumpulkan secara default tanpa biaya. Pengumpulan kustom metrik di kenai biaya kepada pelanggan. Anda dapat mengaktifkan pengumpulan metrik kustom saat membuat cluster. Pengumpulan metrik Managed Service untuk Apache Spark Spark metrics diaktifkan secara default pada workload batch Spark.

Cloud Monitoring

Monitoring menggunakan metadata dan metrik cluster, termasuk metrik HDFS, YARN, tugas, dan operasi, untuk memberikan visibilitas ke kesehatan, performa, dan ketersediaan cluster Managed Service untuk Apache Spark dan tugas. Anda dapat menggunakan Monitoring untuk menjelajahi metrik, menambahkan diagram, membuat dasbor, dan membuat pemberitahuan.

Metrics Explorer

Anda dapat menggunakan Metrics Explorer untuk melihat Managed Service untuk Apache Spark metrik. Metrik cluster, tugas, dan batch Managed Service untuk Apache Spark tercantum di bagian resource Cloud Managed Service for Apache Spark Cluster, Cloud Managed Service for Apache Spark Job, dan Cloud Managed Service for Apache Spark Batch. Metrik kustom Managed Service untuk Apache Spark tercantum di bagian resource VM Instances, kategori Custom.

Diagram

Anda dapat menggunakan Metrics Explorer untuk membuat diagram yang memvisualisasikan metrik Managed Service untuk Apache Spark.

Contoh: Anda membuat diagram untuk melihat jumlah aplikasi Yarn aktif yang berjalan di cluster, lalu menambahkan filter untuk memilih metrik yang divisualisasikan berdasarkan nama atau region cluster.

Dasbor

Anda dapat membuat dasbor untuk memantau cluster dan tugas Managed Service untuk Apache Spark menggunakan metrik dari beberapa project dan produk yang berbeda Google Cloud . Anda dapat membuat dasbor di Google Cloud konsol dari halaman Dashboards Overview dengan mengklik, membuat, lalu menyimpan diagram dari halaman Metrics Explorer.

Notifikasi

Anda dapat membuat pemberitahuan metrik Managed Service untuk Apache Spark guna menerima pemberitahuan tepat waktu tentang masalah cluster atau tugas.