デプロイ後の手順

このページでは、Cortex Framework のデプロイ後の手順に沿って、データ パイプラインを実行し、結果を確認する方法について説明します。

デプロイを実行すると、すべての変換テンプレートと構成がコンパイルされ、ターゲットの Dataform リポジトリにデプロイされます。ただし、BigQuery でテーブルとビューをマテリアライズするには、まず Dataform パイプライン アクションを実行する必要があります。

Dataform で変換を実行する

パイプラインを実行すると、未加工のデータが標準化された AI 対応のデータ基盤レイヤとデータ プロダクトに変換され、すぐにビジネスで使用できるようになります。

Google Cloud コンソールでアクションを手動で実行して検証するか、本番環境の定期的なスケジュールを構成できます。

検証の手動実行

Dataform ワークスペース内でパイプライン全体の手動検証実行を行う手順は次のとおりです。

  1. Google Cloud コンソールで、[Dataform] ページに移動します。
  2. プロジェクトのプルダウンから正しい Google Cloud プロジェクトが選択されていることを確認します。
  3. デプロイ時に作成されたリポジトリの名前(cortex など)をクリックします。
  4. ワークスペース名(cortex など)をクリックします。
  5. [実行を開始] をクリックします。
  6. [操作を実行] をクリックします。
  7. [すべてのアクション] を選択します。特定のタグやアクションを選択して、変換のキー サブセットを選択することもできます。
  8. [実行を開始] をクリックします。

実行の成功を確認する

進行状況をモニタリングし、パイプラインが正常に完了したかどうかを確認する手順は次のとおりです。

  1. [実行] タブをクリックして、実行履歴を表示します。
  2. ステータスが [Completed successfully] であることを確認します。
  3. 実行リンクをクリックして、特定のアクション、コンパイル エラー、実行タイミングの詳細を確認します。

BigQuery のデータアセットを確認する

Dataform パイプラインが正常に実行されたら、生成されたデータセットを確認し、BigQuery でマテリアライズド テーブルを確認します。

  1. Google Cloud コンソールで BigQuery に移動します。
  2. config.yaml ファイルで構成されたターゲット データセット(モジュールの dataTargetId で参照される data.targets エントリの datasetId で識別されるデータセットなど)を見つけます。たとえば、テンプレート構成では次のようになります。
    • データ基盤レイヤ: 基盤ターゲット ID(デフォルトでは cortex7_sap_data_foundation として構成)と一致するデータセットを探します。
    • データ プロダクト レイヤ: 商品ターゲット ID(デフォルトでは cortex7_data_products として構成)と一致するデータセットを探します。
  3. テーブルをプレビューし、サンプルクエリを実行して、想定どおりのレコードが入力されていることを確認します。

次のステップ

データシステムが稼働したら、次のことを行えます。

  • 消費ケースのサンプルをデプロイする: 消費データ プロダクトのサンプルを参照して、ビジネス シナリオを構成します。
  • データモデルを拡張する: 拡張性ガイドを参照して、スキーマをカスタマイズするか、新しいモジュールをインスタンス化します。