Questo documento illustra gli strumenti e le tecniche che puoi utilizzare per monitorare l'integrità e le prestazioni dei cluster e dei job Managed Spark.
Interfacce web open source
Molti componenti open source dei cluster Managed Service for Apache Spark, come Apache Hadoop e Apache Spark, forniscono interfacce web. Queste interfacce possono essere utilizzate per monitorare le risorse del cluster e le prestazioni dei job. Ad esempio, puoi utilizzare l'interfaccia utente di YARN Resource Manager per visualizzare l'allocazione delle risorse delle applicazioni YARN su un cluster Managed Service for Apache Spark.
Server di cronologia permanente
Le interfacce web open source in esecuzione su un cluster sono disponibili quando il cluster è in esecuzione, ma terminano quando elimini il cluster. Per visualizzare i dati di cluster e job dopo l'eliminazione di un cluster, puoi creare un server di cronologia permanente (PHS).
Esempio: si verifica un errore o un rallentamento del job che vuoi analizzare. Arresti o elimini il cluster di job, quindi visualizzi e analizzi i dati della cronologia dei job utilizzando il PHS.
Dopo aver creato un PHS, lo abiliti su un cluster Managed Service for Apache Spark o su un workload batch Managed Service for Apache Spark quando crei il cluster o invii il workload batch. Un PHS può accedere ai dati della cronologia dei job eseguiti su più cluster, consentendoti di monitorare i job in un progetto anziché monitorare interfacce utente separate in esecuzione su cluster diversi.
Log di Managed Service for Apache Spark
Managed Service for Apache Spark raccoglie i log generati da Apache Hadoop, Spark, Hive, ZooKeeper e altri sistemi open source in esecuzione sui cluster, e li invia a Logging. Questi log sono raggruppati in base all'origine dei log, il che ti consente di selezionare e visualizzare i log di tuo interesse: ad esempio, i log di YARN NodeManager e Spark Executor generati su un cluster sono etichettati separatamente. Per ulteriori informazioni sui contenuti e sulle opzioni dei log di Managed Service for Apache Spark logs, consulta Managed Service for Apache Spark log contents and options.
Cloud Logging
Logging è un sistema di gestione dei log in tempo reale e completamente gestito. Fornisce spazio di archiviazione per i log inseriti da Google Cloud servizi e strumenti per cercare, filtrare e analizzare i log su larga scala. I cluster Managed Service for Apache Spark generano più log, inclusi i log degli agenti di servizio di Managed Service for Apache Spark , i log di avvio dei cluster e i log dei componenti OSS, come i log di YARN NodeManager.
Logging è abilitato per impostazione predefinita sui cluster Managed Service for Apache Spark e sui workload batch Managed Service for Apache Spark. I log vengono esportati periodicamente in Logging, dove vengono conservati dopo l'eliminazione del cluster o il completamento del workload.
Metriche di Managed Service for Apache Spark
Le metriche dei cluster e dei job di Managed Service for Apache Spark
,
con il prefisso dataproc.googleapis.com/, sono costituite da dati di serie temporali che
forniscono insight sulle prestazioni di un cluster, come l'utilizzo della CPU o
lo stato del job. Le metriche personalizzate di Managed Service for Apache Spark custom
metrics, con il prefisso custom.googleapis.com/, includono le metriche emesse dai sistemi open source
in esecuzione sul cluster, come la metrica running applications di YARN. Ottenere insight sulle metriche di Managed Service for Apache Spark può aiutarti a configurare i cluster in modo efficiente. La configurazione di avvisi basati su metriche può aiutarti a riconoscere e risolvere rapidamente i problemi.
Le metriche dei cluster e dei job di Managed Service for Apache Spark vengono raccolte per impostazione predefinita senza costi. La raccolta di personalizzate metriche viene addebitata ai clienti. Puoi abilitare la raccolta di metriche personalizzate quando crei un cluster. La raccolta delle metriche Spark di Managed Service for Apache Spark è abilitata per impostazione predefinita sui workload batch Spark.
Cloud Monitoring
Il monitoraggio utilizza i metadati e le metriche dei cluster, incluse le metriche HDFS, YARN, dei job e delle operazioni, per fornire visibilità sull' integrità, sulle prestazioni e sulla disponibilità dei cluster e dei job di Managed Service for Apache Spark. Puoi utilizzare Monitoring per esplorare le metriche, aggiungere grafici, creare dashboard e creare avvisi.
Metrics Explorer
Puoi utilizzare Esplora metriche
per visualizzare le metriche di Managed Service for Apache Spark. Le metriche dei cluster, dei job e dei batch di Managed Service for Apache Spark
sono elencate nelle risorse Cloud Managed Service for Apache Spark Cluster, Cloud
Managed Service for Apache Spark Job e Cloud Managed Service for Apache Spark
Batch. Le metriche personalizzate di Managed Service for Apache Spark sono elencate nella risorsa VM Instances, categoria Custom.
Grafici
Puoi utilizzare Metrics Explorer per creare grafici che visualizzano le metriche di Managed Service for Apache Spark.
Esempio: crei un grafico per visualizzare il numero di applicazioni Yarn attive in esecuzione sui cluster, quindi aggiungi un filtro per selezionare le metriche visualizzate in base al nome o alla regione del cluster.
Dashboard
Puoi creare dashboard per monitorare i cluster e i job di Managed Service for Apache Spark utilizzando le metriche di più progetti e diversi Google Cloud prodotti. Puoi creare dashboard nella Google Cloud console dalla pagina Panoramica delle dashboard facendo clic, creando e salvando un grafico dalla pagina Metrics Explorer.
Avvisi
Passaggi successivi
- Scopri di più sulle indagini basate sull'AI con Gemini Cloud Assist.
- Risolvi i problemi di creazione dei cluster issues.
- Visualizza i dati di diagnostica dei cluster.