デモのデプロイ

デモのデプロイ では、事前定義されたサンプル データセットを使用して、効率的なエクスペリエンスを提供します。オーケストレーション用の Cortex Framework Dataform パイプラインをデプロイし、対応する BigQuery データセットをサンプルデータで初期化するエンドツーエンドのワークフローを提供します。

注意: デモのデプロイは本番環境には適していません。本番環境へのデプロイについては、 Cortex Frameworkのデプロイをご覧ください。

始める前に

デモのデプロイに進む前に、 前提条件のページに記載されている前提条件を満たしていることを確認してください。

必要な IAM ロールと権限を取得する

ターゲット Google Cloud プロジェクト内に Cortex Framework コンテンツをデプロイするために必要な Identity and Access Management（IAM）権限を取得します。

ターゲット プロジェクトのロール

Cortex Framework をデプロイするために必要な権限を取得するには、ターゲット プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

• BigQuery ジョブユーザー （roles/bigquery.jobUser）
• BigQuery データ編集者 （roles/bigquery.dataEditor）
• Dataform 編集者 （roles/dataform.editor）
• Service Usage 管理者 （roles/serviceusage.serviceUsageAdmin）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタム ロールや他の事前定義 ロールから取得することもできます。

注: Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）ロールは、Cortex Framework デプロイ スクリプトの実行時に、以下の API を自動的に有効にするために使用されます: Google Clouddataform.googleapis.com、bigquery.googleapis.com、cloudresourcemanager.googleapis.com。組織のポリシーでこの権限をユーザーに付与できない場合は、 Cortex Framework デプロイ スクリプトを実行する前に、上記の API を手動で有効にすることもできます。

省略可: サービス アカウントを使用してデモのデプロイに必要な IAM ロールを取得する

次のロールは、省略可能なパラメータ --service_account が有効になっている デモの Deploymentでのみ必要です。デモのデプロイ時にサービス アカウントを指定すると、ワークフロー実行スケジュールの構成が作成されるため、デプロイ後のデータ パイプラインの実行が簡素化されます。これらのロールは、--service_account 構成のないデプロイには必要ありません。

Cortex Framework のデモをデプロイするために必要な権限を取得するには、ソース プロジェクトとターゲット プロジェクトに対するサービス アカウント トークン作成者 （roles/iam.serviceAccountTokenCreator）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタム ロールや他の事前定義 ロールから取得することもできます。

デプロイ

次の手順に沿って、仮想 Python 環境を作成し、依存関係を同期して、データ パイプラインをトリガーします。Cortex Framework の uvスクリプトを使用してデータ アセットを Google Cloud プロジェクトにビルドして push し、ローカル構成をライブでスケーラブルなデータアーキテクチャに変換します。詳細については、前提条件セクションの uvインストール をご覧ください。

デモのデプロイを実行する

次のコマンドを実行して、デプロイをトリガーします。このプロセスでは、次の操作が行われます。

• すべての前提条件が満たされていることを確認します。
• デモンストレーション用の未加工レイヤとして機能する BigQuery データセットにサンプルデータを読み込みます。
• Cortex Framework データレイヤを介してサンプルデータを処理するための Dataform パイプラインを構築します。
• Dataform リポジトリとワークスペースを作成し、コンパイルされたアーティファクトをリポジトリと同期します。
• ワークフローのスケジューリングを作成し、最初の Dataform ワークフローの実行をトリガーします。

サービス アカウントを使用しないデモのデプロイの場合は、次のコマンドを実行します。

uv run cortex-demo --project_id=PROJECT_ID

サービス アカウントを使用したデモのデプロイの場合は、次のコマンドを実行します。

注: --service_account は省略可能なパラメータです。

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

詳細については、サポートされている BigQuery のロケーション と サポートされている Dataform リージョンをご覧ください。

CLI デモのデプロイ: 使用可能なパラメータのリストを コマンドを実行して表示できます。uv run cortex-demo -h詳細については、 CLI Cortex Framework デモのデプロイをご覧ください。

検証

デプロイが完了したら、次の操作を行います。

1. Dataform を開いて、リポジトリに作成された 新しいコードを確認します。

   1. Dataform リポジトリを作成しました。
   2. Dataform 開発ワークスペースを作成しました。
   3. コードをコンパイルして同期しました。

2. Dataform アクションを実行します。

   **注:** デプロイ時に --service_account パラメータが使用されている場合、この手順は省略可能です。
   1. Dataform ワークスペースを開きます。
   2. [実行を開始] をクリックします。
   3. [操作を実行] をクリックします。
   4. [すべてのアクション] をクリックします。

   5. [実行を開始] をクリックします。

   6. Dataform リポジトリ内のすべてのアクションが正常に実行されていることをモニタリングします。

3. BigQuery コンソールに移動して、作成したデータセットを表示し、スキーマとデータを確認します。作成したデータセット:

   • cortex_demo_sap_ecc_raw: このデータセットには、ソースシステム（この例では SAP S/4HANA）からの未加工データが含まれています。
   • cortex_demo_sap_ecc_data_foundation: このデータセットはデータ基盤レイヤを表します。未加工レイヤからの未加工データは CDC 処理されます。
   • cortex_demo_data_product: このデータセットには、デモデータ プロダクト（エンドユーザーが使用するように設計された、洗練された高性能なビューまたはテーブル）が含まれています。