デモのデプロイ

デモ デプロイでは、事前定義されたサンプル データセットを使用して、効率的なエクスペリエンスを提供します。オーケストレーション用に Cortex Framework Dataform パイプラインをデプロイし、対応する BigQuery データセットをサンプルデータで初期化するエンドツーエンドのワークフローを提供します。

注意: デモ環境は本番環境には適していません。本番環境のデプロイについては、Cortex Framework のデプロイをご覧ください。

始める前に

デモのデプロイを続行する前に、前提条件ページに記載されている前提条件を満たしていることを確認してください。

必要な IAM ロールと権限を取得する

ターゲットの Google Cloud プロジェクト内に Cortex Framework コンテンツをデプロイするために必要な Identity and Access Management（IAM）権限を取得します。

ターゲット プロジェクトのロール

Cortex Framework のデプロイに必要な権限を取得するには、ターゲット プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

• BigQuery ジョブユーザー（roles/bigquery.jobUser）
• BigQuery データ編集者（roles/bigquery.dataEditor）
• Dataform 編集者 （roles/dataform.editor）
• Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

注: Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）ロールは、Cortex Framework デプロイ スクリプトの実行時に、次の Google CloudAPI（dataform.googleapis.com、bigquery.googleapis.com、cloudresourcemanager.googleapis.com）を自動的に有効にするために使用されます。組織のポリシーでユーザーにこの権限を付与できない場合は、Cortex Framework デプロイ スクリプトの実行前に、前述の API を手動で有効にすることもできます。

省略可: サービス アカウントを使用してデモ デプロイに必要な IAM ロールを取得する

次のロールは、省略可能なパラメータ --service_account が有効になっている デモ Deployment の場合にのみ必要です。デモ デプロイ中にサービス アカウントを指定すると、ワークフロー実行のスケジューリング構成が作成されるため、デプロイ後のデータ パイプラインの実行が簡素化されます。これらのロールは、--service_account 構成のないデプロイでは必要ありません。

Cortex Framework のデモをデプロイするために必要な権限を取得するには、ソース プロジェクトとターゲット プロジェクトに対するサービス アカウント トークン作成者 （roles/iam.serviceAccountTokenCreator）の IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

デプロイ

仮想 Python 環境を作成し、依存関係を同期して、データ パイプラインをトリガーする手順は次のとおりです。Cortex Framework の uv スクリプトを使用して、データアセットを Google Cloud プロジェクトにビルドして push し、ローカル構成をライブでスケーラブルなデータ アーキテクチャに変換してください。詳細については、前提条件セクションの uv のインストールをご覧ください。

デモのデプロイを実行する

次のコマンドを実行して、デプロイをトリガーします。このプロセスでは、次のアクションが実行されます。

• すべての前提条件が満たされていることを確認します。
• デモンストレーション用に、サンプルデータを BigQuery データセットに読み込んで、未加工レイヤとして使用します。
• Cortex Framework データレイヤを介してサンプルデータを処理する Dataform パイプラインを構築します。
• Dataform リポジトリとワークスペースを作成し、コンパイルされたアーティファクトをリポジトリと同期します。
• ワークフローのスケジュールを作成し、最初の Dataform ワークフローの実行をトリガーします。

サービス アカウントを使用しないデモ環境をデプロイするには、次のコマンドを実行します。

uv run cortex-demo --project_id=PROJECT_ID

サービス アカウントを使用したデモ デプロイの場合は、次のコマンドを実行します。

注: --service_account は省略可能なパラメータです。

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

詳細については、サポートされている BigQuery のロケーションとサポートされている Dataform のリージョンをご覧ください。

CLI デモのデプロイ: uv run cortex-demo -h コマンドを実行して、使用可能なパラメータのリストを表示することもできます。詳細については、CLI Cortex Framework デモのデプロイをご覧ください。

検証

デプロイが完了したら:

1. Dataform を開いて、リポジトリに作成された新しいコードを調べます。

   1. Dataform リポジトリを作成しました。
   2. Dataform 開発ワークスペースが作成されました。
   3. コンパイルされ同期されたコード。

2. Dataform アクションを実行します。

   注: デプロイ時に --service_account パラメータが使用されている場合、この手順は省略可能です。
   1. Dataform ワークスペースを開きます。
   2. [実行を開始] をクリックします。
   3. [操作を実行] をクリックします。
   4. [すべてのアクション] をクリックします。

   5. [実行を開始] をクリックします。

   6. Dataform リポジトリ内のすべてのアクションの実行が成功したかどうかをモニタリングします。

3. BigQuery コンソールに移動して、作成したデータセットを表示し、スキーマとデータを確認します。作成されたデータセット:

   • cortex_demo_sap_ecc_raw: このデータセットには、ソースシステム（この例では SAP S/4HANA）の元データが含まれています。
   • cortex_demo_sap_ecc_data_foundation: このデータセットは、元データレイヤの元データが CDC 処理されるデータ基盤レイヤを表します。
   • cortex_demo_data_product: このデータセットには、エンドユーザーが使用するために設計された、デモデータ プロダクトの精製された高性能ビューまたはテーブルが含まれています。