パイプライン アラートを作成する

このページでは、Cloud Data Fusion でデータ パイプラインのアラートを設定する方法について説明します。

アラートは次のサービスで作成できます。

  • Cloud Data Fusion を使用したアラート: Cloud Data Fusion でバッチ パイプラインを設計するときに、これらのアラートを設定します。パイプラインをデプロイした後、アラートを追加または編集することはできません。

  • Cloud Monitoring を使用したログベースのアラート: これらのアラートは、パイプラインをデプロイする前と後にコンソールで設定します。 Google Cloud

始める前に

Cloud Data Fusion インスタンスが必要です。詳細については、Cloud Data Fusion インスタンスの作成をご覧ください。

Cloud Data Fusion でアラートを追加する

  1. インスタンスを開きます。

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. パイプラインを設計する [Studio] ページに移動します。

  3. [構成] > [パイプライン アラート] > [ 追加] の順にクリックします。

  4. アラートを選択して構成します。アラートの構成の詳細については、バッチ パイプライン アラートをご覧ください。

  5. アラートを構成したら、[検証] をクリックしてエラーを確認し、[確認] をクリックします。

Monitoring でアラートを作成する

  1. Cloud Data Fusion インスタンスで Cloud Logging を有効にします。

  2. ログベースのアラートを作成する。

    1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

      ログ エクスプローラに移動

      このページでは、データの保存、クエリ、更新、削除を行えます。

    2. 次のクエリを入力します。

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      PROJECT_ID はプロジェクトの ID に置き換えます。

    3. [アラートを作成] をクリックして、アラートを構成します。

アラートは、パイプラインが Dataproc クラスタで実行されて失敗した場合にのみ生成されます。Dataproc クラスタの作成に失敗した場合、アラートは生成されません。

次のステップ