デプロイガイド

このページでは、本番環境パスのデプロイの Cortex Framework デプロイ手順について説明します。

始める前に

デプロイを続行する前に、前提条件ページに記載されている前提条件を満たしていることを確認してください。

Cortex Framework をデプロイする前に、ソース システム統合を選択して準備します。

IAM ロールを構成する

必要な Google Cloud プロジェクト内に Cortex Framework コンテンツをデプロイするために必要な Identity and Access Management（IAM）権限を構成します。

ビルド プロジェクトのロール

Cortex Framework のビルドに必要な権限を取得するには、ビルド プロジェクトに対する BigQuery データ ジョブユーザー （roles/bigquery.jobUser）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

リクエストされたロールをユーザーに付与するには、次のスクリプトを使用します。

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

ソース プロジェクトのロール

Cortex Framework をデプロイするために必要な権限を取得するには、ソース プロジェクトに対する BigQuery データ閲覧者 （roles/bigquery.dataViewer）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

ターゲット プロジェクトのロール

Cortex Framework のデプロイに必要な権限を取得するには、ターゲット プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセスを管理するをご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

リクエストされたロールをユーザーに付与するには、次のスクリプトを使用します。

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

デプロイ構成

デプロイ前に、データ基盤レイヤとデータ プロダクト レイヤは、一元化された構成としてのコード アプローチで構成されます。Cortex Framework は、config/config.yaml ファイルを使用して Cortex Framework のデプロイを構成します。まず、config/config.yaml.example のコピーを作成することをおすすめします。このファイルには、ソースデータとターゲット環境間の重要なマッピングが含まれています。 Google Cloud適切に構成することで、Cortex Framework は、元データの場所と、結果のレイヤを具体化する場所を正確に把握できます。

Cortex Framework を正常にデプロイするには、次の必須値を追加する必要があります。

  • YOUR_BUILD_PROJECT_ID: デプロイ オーケストレーションと uv スクリプトが実行されるプロジェクト。
  • YOUR_SOURCE_PROJECT_ID: 未加工のソースデータを含むプロジェクト。
  • YOUR_TARGET_PROJECT_ID: 処理されたデータ プロダクトと BigQuery データセットが配置される宛先プロジェクト。
  • YOUR_REPO_PROJECT_ID: Dataform リポジトリとデプロイ アーティファクトをホストするプロジェクト。

構成ファイルの詳細については、デプロイ構成をご覧ください。

デプロイの実行

次のコマンドを実行して、Cortex Framework のデプロイをトリガーします。このプロセスでは、次のアクションが実行されます。

  • すべての前提条件が満たされていることを確認します。
  • 未加工のデータセットに接続し、スキーマ情報に基づいて .sqlx スクリプトをビルドしてコンパイルします。
  • Dataform リポジトリとワークスペースを作成し、コンパイルされたアーティファクトをリポジトリと同期します。
uv run cortex-build-and-deploy --config config/config.yaml

uv run cortex-build-and-deploy CLI パラメータ: uv run cortex-build-and-deploy -h コマンドを実行すると、cortex-demo スクリプトでサポートされているパラメータのリストをオプションで表示できます。詳細については、CLI Cortex Framework uv run cortex-build-and-deploy をご覧ください。

コマンドライン オプション

uv run コマンドライン インターフェース（CLI）は、次のアクションをサポートしています。

  • uv run cortex-build: Dataform ワークスペースのコンパイルを実行し、YAML 構成と SQLX/JS テンプレートをデプロイ可能な Dataform アセットに変換します。詳細については、CLI Cortex ビルドをご覧ください。
  • uv run cortex-deploy: コンパイルされたアセットをターゲットの Dataform ワークスペースに push します。詳細については、CLI Cortex deploy をご覧ください。
  • uv run cortex-build-and-deploy: ビルド アセットのコンパイルと Dataform ワークスペースへの push を組み合わせます。詳細については、CLI Cortex のビルドとデプロイをご覧ください。

次のステップ