パイプライン アラートを作成する

Cloud Data Fusion のパイプライン アラートを使用すると、実行ステータスを追跡し、ワークフローの健全性をモニタリングできます。これらの通知は、パイプラインの障害をすぐに検出するのに役立ちます。

デプロイ ステージに応じて、2 つの異なるサービスを使用してアラートを構成できます。Cloud Data Fusion アラートはバッチ パイプラインの設計時に設定され、デプロイ後に追加または編集することはできません。これに対し、Cloud Monitoring を使用したログベースのアラートは、パイプラインをデプロイする前でも後でも、 Google Cloud コンソールでいつでも作成できます。

始める前に

Cloud Data Fusion インスタンスが必要です。詳細については、パブリック インスタンスを作成するをご覧ください。

Cloud Data Fusion でアラートを追加する

  1. インスタンスを開きます。

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. パイプラインを設計している [Studio] ページに移動します。

  3. [構成] > [パイプライン アラート] > [ 追加] の順にクリックします。

  4. アラートを選択して構成します。アラートの構成方法について詳しくは、バッチ パイプラインのアラートをご覧ください。

  5. アラートを構成したら、[検証] をクリックしてエラーを確認し、[確認] をクリックします。

Monitoring でアラートを作成する

  1. Cloud Data Fusion インスタンスで Cloud Logging を有効にします。

  2. ログベースのアラートを作成する。

    1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

      ログ エクスプローラに移動

      このページでは、データの保存、クエリ、更新、削除を行えます。

    2. 次のクエリを入力します。

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      PROJECT_ID はプロジェクトの ID に置き換えます。

    3. [アラートを作成] をクリックして、アラートを構成します。

アラートは、パイプラインが Managed Service for Apache Spark クラスタで実行され、失敗した場合にのみ生成されます。Managed Service for Apache Spark クラスタの作成に失敗した場合、アラートは生成されません。

次のステップ