このガイドでは、Cloud Data Fusion インスタンスとパイプラインをモニタリングする方法について説明します。主要な指標は、Cloud Data Fusion モニタリング ダッシュボードで確認できます。集計やフィルタリングを追加する場合は、Cloud Monitoring で指標を表示できます。
始める前に
Cloud Data Fusion インスタンスとパイプラインのモニタリングを開始する前に、料金を確認して必要なロールを付与します。
料金
Cloud Monitoring の使用には料金が発生します。詳細については、Google Cloud Observability の料金をご覧ください。
必要なロール
指標を表示するために必要な権限を取得するには、プロジェクトに対するモニタリング閲覧者 （roles/monitoring.viewer）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
Cloud Data Fusion でモニタリングする
モニタリング ダッシュボードを使用して、Cloud Data Fusion でインスタンスとパイプラインの指標を直接表示してフィルタします。
Google Cloud コンソールで、Cloud Data Fusion のページに移動します。
[インスタンス] をクリックし、インスタンスの名前をクリックして [インスタンスの詳細] ページに移動します。
[モニタリング] タブをクリックします。インスタンスとそのパイプラインのグラフを含むダッシュボードが表示されます。
ダッシュボードには、次のビューが表示されます。
- 概要: Cloud Data Fusion システム指標をモニタリングします。
- インスタンス: プロジェクト内のすべての Cloud Data Fusion インスタンスをモニタリングします。
- パイプライン: パイプラインの実行とパフォーマンスに関する情報を提供します。
任意のビューの指標の詳細情報を表示するには、ウィジェットにカーソルを合わせて、[その他 > Metrics Explorer で表示] をクリックします。
モニタリング ダッシュボードのウィジェット
以降のセクションでは、[概要]、[インスタンス]、[パイプライン] ビューで使用できるウィジェットについて説明します。
概要ビューのウィジェット
次の表に、[概要] ビューのウィジェットの説明を示します。
| ウィジェット | 説明 |
|---|---|
| Appfabric サービスの健全性 | Appfabric のサービスの可用性 |
| 指標サービスの健全性 | 指標のサービスの可用性 |
| Wrangler サービスの健全性 | Wrangler のサービスの可用性 |
| データセット エグゼキュータの健全性 | データセットのサービスの可用性 |
| Pipeline Studio の健全性 | Pipeline Studio のサービスの可用性 |
| ランタイム サービスの健全性 | ランタイムのサービスの可用性 |
| ログサーバー サービスの健全性 | ログサーバーのサービスの可用性 |
| メタデータ サービスの健全性 | メタデータのサービスの可用性 |
パイプライン ビュー ウィジェット
次の表に、[パイプライン] ビューのウィジェットを示します。
| ウィジェット | 説明 |
|---|---|
| 成功したパイプライン実行 | パイプラインの実行が成功した累積数。 |
| 失敗したパイプライン実行 | 失敗したパイプライン実行の累積数。 |
| 強制終了したパイプライン実行 | 強制終了されたパイプライン実行の累積数。 |
| 拒否されたパイプライン実行 | 拒否されたパイプライン実行の累積数。 |
| 正常に完了したパイプラインの実行時間 | パイプラインの実行が正常に完了するまでに要した時間。 |
| パイプライン開始のレイテンシ | パイプライン実行が「実行中」状態になるまでに要した時間。 |
| Dataproc プロビジョニングのレイテンシ | Dataproc クラスタのプロビジョニングにかかった時間。 |
| Dataproc API リクエスト数 | Dataproc に対して行われた API リクエストの累積数。 |
| プレビューの実行時間（成功） | プレビューの実行が正常に完了するまでに要した時間。 |
| プレビューの実行 | プレビュー実行の数。 |
| パイプラインの読み取りバイト数 | パイプラインで読み取られた累積バイト数。 |
| パイプラインの書き込みバイト数 | パイプラインによって書き込まれた累積バイト数。 |
| パイプラインのシャッフルされたバイト数 | パイプラインでシャッフルされたバイトの累積数。 |
| 処理されるプラグイン レコード数 | プラグインに入力されたレコードの累積数。 |
| 処理済みのプラグイン レコード数 | プラグインを終了したレコードの累積数。 |
インスタンス ビュー ウィジェット
次の表は、[インスタンス] ビューのウィジェットを示しています。
| ウィジェット | 説明 |
|---|---|
| 同時実行中のパイプライン数 | 同時に実行されているパイプラインの数。 |
| 起動済みの同時実行パイプライン数 | プロビジョニング中または開始中の状態のパイプラインの数。 |
| 受信した API リクエスト数 | 受信した API リクエストの累積数。 |
| API レスポンス数 | 送信された API レスポンスの累積数。 |
| 承認チェック数 | 承認チェックの累積数。 |
| 承認チェック時間 | 認可チェックのレイテンシ。 |
| デプロイしたパイプライン数 | デプロイされたパイプラインの数。 |
| ドラフト パイプラインの数 | 下書きパイプラインの数。 |
| 名前空間の数 | Namespace の数。 |
Cloud Monitoring で高度な分析の指標を表示する
その他のフィルタリング オプションと集計オプションについては、Cloud Monitoring で指標を表示します。
Google Cloud コンソールで、Cloud Monitoring の [Metrics Explorer] ページに移動します。
Cloud Data Fusion モニタリング対象リソースを選択します。
指標を選択します。
フィルタと集計を選択します。
次のステップ
- フィルタと指標については、Cloud Data Fusion 指標の概要をご覧ください。