デプロイ

このページでは、エンタープライズ データ用の Cortex Framework のデプロイ手順について説明します。

始める前に

デプロイを続行する前に、前提条件ページに記載されている前提条件を満たしていることを確認してください。

Cortex Framework をデプロイする前に、関連する SAP ERP テーブルを BigQuery に複製する必要があります。詳細については、SAP ERP データソース ページをご覧ください。

デプロイ

環境の準備が整ったら、デプロイを実行できます。Cortex Framework の uv スクリプトを使用して、データアセットを構築して Google Cloud プロジェクトに push し、ローカル構成をライブでスケーラブルなデータ アーキテクチャに変換します。

構成

デプロイ前に、データ基盤とデータ プロダクト レイヤは、一元化された構成としてのコード アプローチで構成されます。Cortex Framework は、config/config.yaml ファイルを使用して Cortex Framework のデプロイを構成します。このファイルには、ソースデータとターゲット Google Cloud環境間の重要なマッピングが含まれています。適切な構成により、Cortex Framework は、未加工データの検索場所と、結果のレイヤのマテリアライズ場所を正確に把握できます。

Cortex Framework のデプロイを成功させるには、次の必須値を追加する必要があります。

  • YOUR_BUILD_PROJECT_ID: デプロイ オーケストレーションと uv スクリプトが実行されるプロジェクト。
  • YOUR_SOURCE_PROJECT_ID: 未加工のソースデータを含むプロジェクト。
  • YOUR_TARGET_PROJECT_ID: 処理されたデータ プロダクトと BigQuery データセットが配置される宛先プロジェクト。
  • YOUR_REPO_PROJECT_ID: Dataform リポジトリとデプロイ アーティファクトをホストするプロジェクト。

構成ファイルの詳細については、デプロイ構成をご覧ください。

IAM ロールを構成する

必要な Google Cloud プロジェクト内に Cortex Framework コンテンツをデプロイするために必要な Identity and Access Management（IAM）権限を構成します。

ビルド プロジェクトのロール

Cortex Framework の構築に必要な権限を取得するには、ビルド プロジェクトに対する BigQuery データ ジョブユーザー （roles/bigquery.jobUser）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

ソース プロジェクトのロール

Cortex Framework をデプロイするために必要な権限を取得するには、ソース プロジェクトに対する BigQuery データ閲覧者 （roles/bigquery.dataViewer）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

ターゲット プロジェクトのロール

Cortex Framework のデプロイに必要な権限を取得するには、ターゲット プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

デプロイを実行する

次のコマンドを実行して、Cortex Framework のデプロイをトリガーします。このプロセスでは、次のアクションが実行されます。

  • すべての前提条件が満たされていることを確認します。
  • 未加工のデータセットに接続し、スキーマ情報に基づいて .sqlx スクリプトをビルドしてコンパイルします。
  • Dataform リポジトリとワークスペースを作成し、コンパイルされたアーティファクトをリポジトリと同期します。
uv run cortex-build-and-deploy --config "config/config.yaml"

コマンドライン オプション

uv run コマンドライン インターフェース（CLI）は、次のアクションをサポートしています。

  • uv run cortex-build: Dataform ワークスペースのコンパイルを実行し、YAML 構成と SQLX/JS テンプレートをデプロイ可能な Dataform アセットに変換します。詳細については、CLI Cortex ビルドをご覧ください。
  • uv run cortex-deploy: コンパイルされたアセットをターゲットの Dataform ワークスペースに push します。詳細については、CLI Cortex deploy をご覧ください。
  • uv run cortex-build-and-deploy: ビルド アセットのコンパイルと Dataform ワークスペースへのプッシュを組み合わせます。詳細については、CLI Cortex のビルドとデプロイをご覧ください。

データ基盤とデータ プロダクトのパイプラインを実行する

デプロイが完了したら、最後の手順として Dataform リポジトリ内のすべてのアクションを実行します。Dataform ワークスペース内でパイプラインを実行すると、元データの構造化された AI 対応のデータ プロダクトへのロジック変換が開始され、すぐにビジネスで使用できるようになります。手順は次のとおりです。

  1. Dataform に移動します。
  2. 正しいプロジェクトが選択されていることを確認してください。
  3. 作成したリポジトリの名前をクリックします。
  4. ワークスペース名をクリックします。
  5. [実行を開始] をクリックします。
  6. [操作を実行] をクリックします。
  7. [すべてのアクション] を選択します。関心のある手順を選択することもできます。
  8. [実行を開始] をクリックします。

デプロイが成功したことを確認します。

  1. [実行] をクリックします。
  2. ステータスが正常に完了したことを確認します。
  3. 詳細については、実行リンクをクリックしてください。

これで、構成ファイルで構成されたデータセットにデプロイされた BigQuery データアセットを確認できます。たとえば、CORTEX_SAP_DATAFOUNDATION や CORTEX_SAP_DATAPRODUCTS です。