デプロイ

このページでは、エンタープライズ データ用の Cortex Framework のデプロイ手順について説明します。

始める前に

デプロイに進む前に、 前提条件のページに記載されている前提条件を満たしていることを確認してください。

Cortex Framework をデプロイする前に、関連する SAP ERP テーブルを BigQuery にレプリケートする必要があります。詳細については、 SAP ERP データソースのページをご覧ください。

デプロイ

環境が準備できたら、デプロイを実行します。Cortex Framework uv スクリプトを使用して、データ アセットを プロジェクトにビルドして push し、ローカル構成をライブでスケーラブルなデータ アーキテクチャに変換します。 Google Cloud

構成

デプロイの前に、データ基盤レイヤとデータ プロダクト レイヤは、コードとしての構成という一元的なアプローチで構成されます。 Cortex Framework は、config/config.yaml ファイルを使用して、Cortex Framework のデプロイを構成します。このファイルには ソースデータとターゲット Google Cloud 環境の間の重要なマッピングが含まれています。適切に構成することで、Cortex Framework は、未加工データの場所と、結果のレイヤを具体化する場所を正確に把握できます。

Cortex Framework のデプロイを成功させるには、次の必須値を追加する必要があります。

  • YOUR_BUILD_PROJECT_ID: デプロイのオーケストレーションと uv スクリプトが実行されるプロジェクト。
  • YOUR_SOURCE_PROJECT_ID: 未加工のソースデータを含むプロジェクト。
  • YOUR_TARGET_PROJECT_ID: 処理済みのデータ プロダクトと BigQuery データセットが配置される宛先プロジェクト。
  • YOUR_REPO_PROJECT_ID: Dataform リポジトリとデプロイ アーティファクトをホストするプロジェクト。

構成ファイルの詳細については、 デプロイ構成をご覧ください。

IAM ロールを構成する

必要な Google Cloud プロジェクト内で Cortex Framework コンテンツをデプロイするために必要な Identity and Access Management（IAM）権限を構成します。

ビルド プロジェクトのロール

Cortex Framework のビルドに必要な権限を取得するには、ビルド プロジェクトに対するBigQuery データ ジョブユーザー （roles/bigquery.jobUser）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタム ロールや他の事前定義 ロールから取得することもできます。

ソース プロジェクトのロール

Cortex Framework のデプロイに必要な権限を取得するには、ソース プロジェクトに対するBigQuery データ閲覧者 （roles/bigquery.dataViewer）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタム ロールや他の事前定義 ロールから取得することもできます。

ターゲット プロジェクトのロール

Cortex Framework のデプロイに必要な権限を取得するには、ターゲット プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタム ロールや他の事前定義 ロールから取得することもできます。

デプロイを実行する

次のコマンドを実行して、Cortex Framework のデプロイをトリガーします。このプロセスでは、次のアクションが実行されます。

  • すべての前提条件が満たされていることを確認します。
  • 未加工のデータセットに接続し、スキーマ情報に基づいて .sqlx スクリプトをビルドしてコンパイルします。
  • Dataform リポジトリとワークスペースを作成し、コンパイルされたアーティファクトをリポジトリと同期します。
uv run cortex-build-and-deploy --config "config/config.yaml"

コマンドライン オプション

uv run コマンドライン インターフェース（CLI）は、次のアクションをサポートしています。

  • uv run cortex-build: Dataform ワークスペースのコンパイルを実行し、YAML 構成と SQLX/JS テンプレートをデプロイ可能な Dataform アセットに変換します。詳細については、 CLI Cortex ビルドをご覧ください。
  • uv run cortex-deploy: コンパイルされたアセットをターゲット Dataform ワークスペースに push します。詳細については、 CLI Cortex デプロイをご覧ください。
  • uv run cortex-build-and-deploy: ビルド アセットのコンパイルと Dataform ワークスペースへの push を組み合わせます。詳細については、 CLI Cortex ビルドとデプロイをご覧ください。

データ基盤とデータ プロダクトのパイプラインを実行する

デプロイが完了したら、最後のステップとして Dataform リポジトリ内のすべてのアクションを実行します。Dataform ワークスペース内でパイプラインを実行すると、未加工データの構造化された AI 対応のデータ プロダクトへのロジック変換が開始され、すぐにビジネスで使用できるようになります。手順は次のとおりです。

  1. Dataform に移動します。
  2. 正しいプロジェクトにいることを確認します。
  3. 作成したリポジトリ名をクリックします。
  4. ワークスペース名をクリックします。
  5. [実行を開始] をクリックします。
  6. [操作を実行] をクリックします。
  7. [**すべてのアクション**] を選択します。関心のあるステップを選択することもできます。
  8. [実行を開始] をクリックします。

デプロイが成功したことを確認します。

  1. [実行] をクリックします。
  2. ステータスが正常に完了していることを確認します。
  3. 詳細については、実行リンクをクリックしてください。

これで、構成ファイルで構成されたデータセットにデプロイされた BigQuery データアセットを確認できます。たとえば、CORTEX_SAP_DATAFOUNDATION や CORTEX_SAP_DATAPRODUCTS などです。