このドキュメントでは、Managed Spark クラスタとジョブの健全性とパフォーマンスをモニタリングするために使用できるツールと手法について説明します。
オープンソースのウェブ インターフェース
Apache Hadoop や Apache Spark など、Managed Service for Apache Spark クラスタの多くのオープンソース コンポーネントにはウェブ インターフェースが用意されています。これらのインターフェースを使用して、クラスタ リソースとジョブのパフォーマンスをモニタリングできます。たとえば、YARN Resource Manager UI を使用して、Managed Service for Apache Spark クラスタでの YARN アプリケーション リソースの割り当てを表示できます。
永続的履歴サーバー
クラスタで実行されているオープンソース ウェブ インターフェースは、クラスタの実行中は使用できますが、クラスタを削除すると終了します。クラスタの削除後にクラスタとジョブデータを表示するには、永続履歴サーバー（PHS）を作成します。
例: 分析するジョブエラーや速度低下が発生した場合。ジョブクラスタを停止または削除してから、PHS を使用してジョブ履歴データを表示して分析します。
PHS を作成したら、クラスタの作成時またはバッチ ワークロードの送信時に、Managed Service for Apache Spark クラスタまたは Managed Service for Apache Spark バッチ ワークロードで有効にします。PHS は、複数のクラスタで実行されるジョブの履歴データにアクセスできるため、異なるクラスタで実行されている個別の UI をモニタリングするのではなく、プロジェクト全体のジョブをモニタリングできます。
Managed Service for Apache Spark ログ
Managed Service for Apache Spark は、クラスタ上で実行されている Apache Hadoop、Spark、Hive、ZooKeeper などのオープンソース システムによって生成されたログを収集し、Logging に送信します。これらのログはログのソースに基づいてグループ化されているため、関心のあるログを選択して表示できます。たとえば、クラスタで生成された YARN NodeManager ログと Spark Executor ログは別々にラベル付けされます。Managed Service for Apache Spark のログの内容とオプションの詳細については、Managed Service for Apache Spark のログをご覧ください。
Cloud Logging
Logging は、フルマネージドでリアルタイムのログ管理システムです。 Google Cloud サービスから取り込まれたログのストレージと、ログの大規模な検索、フィルタリング、分析を行うツールを提供します。Managed Service for Apache Spark クラスタは、Managed Service for Apache Spark サービス エージェントのログ、クラスタ起動ログ、OSS コンポーネント ログ（YARN NodeManager ログなど）を含む複数のログを生成します。
ロギングは、Managed Service for Apache Spark クラスタと Managed Service for Apache Spark バッチ ワークロードでデフォルトで有効になっています。ログは定期的に Logging にエクスポートされ、クラスタの削除やワークロードの完了後も保持されます。
Managed Service for Apache Spark の指標
dataproc.googleapis.com/ の接頭辞が付いた Managed Service for Apache Spark クラスタとジョブ指標は、CPU 使用率やジョブ ステータスなどのクラスタのパフォーマンスに関する分析情報を提供する時系列データで構成されます。custom.googleapis.com/ の接頭辞が付いた Managed Service for Apache Spark カスタム指標には、YARN running applications 指標などのクラスタ上で実行されているオープンソース システムによって出力された指標が含まれます。Managed Service for Apache Spark 指標の分析情報を取得すると、クラスタを効率的に構成できます。指標ベースのアラートを設定すると、問題を迅速に認識して対応できます。
Managed Service for Apache Spark クラスタとジョブの指標は、デフォルトで料金なしで収集されます。カスタム指標の収集はお客様に請求されます。クラスタの作成時に、カスタム指標の収集を有効にできます。Managed Service for Apache Spark の Spark 指標の収集は、Spark バッチ ワークロードでデフォルトで有効になっています。
Cloud Monitoring
Monitoring は、クラスタのメタデータと指標（HDFS、YARN、ジョブ、オペレーション指標など）を使用して、Managed Service for Apache Spark クラスタとジョブの健全性、パフォーマンス、可用性を可視化します。Monitoring を使用すると、指標の確認、グラフの追加、ダッシュボードの作成、アラートの作成を行えます。
Metrics Explorer
Metrics Explorer を使用して、Managed Service for Apache Spark 指標を表示できます。Managed Service for Apache Spark クラスタ、ジョブ、Managed Service for Apache Spark バッチの指標は、Cloud Managed Service for Apache Spark Cluster、Cloud
Managed Service for Apache Spark Job、Cloud Managed Service for Apache Spark
Batch リソースの下に一覧表示されます。Managed Service for Apache Spark カスタム指標は、VM Instances リソースの Custom カテゴリに一覧表示されます。
グラフ
Metrics Explorer を使用して、Managed Service for Apache Spark 指標を可視化するグラフを作成できます。
例: クラスタで実行されているアクティブな Yarn アプリケーションの数を示すグラフを作成し、フィルタを追加して、クラスタ名またはリージョンで可視化された指標を選択します。
ダッシュボード
複数のプロジェクトとさまざまな Google Cloud プロダクトの指標を使用して、Managed Service for Apache Spark クラスタとジョブをモニタリングするダッシュボードを構築できます。Metrics Explorer ページでグラフをクリックして作成し、保存を行うことで、 Google Cloud コンソールの [ダッシュボードの概要] ページからダッシュボードを作成できます。
アラート
Managed Service for Apache Spark 指標アラートを作成すると、クラスタまたはジョブの問題をタイムリーに受信できます。