Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

カスタム Namespace の設定

カスタム名前空間は、データ基盤と分析データプロダクトモジュールをパッケージ化して分離するための論理環境として機能します。専用のカスタム Namespace 内で実行すると、構成オプションとデプロイオプションを個別に管理できるため、環境の分離が実現します。この分離の主なメリットは、カスタムモジュールをオーバーライドしたり破損させたりするリスクを冒すことなく、Google Cloud Cortex Framework の cortex 名前空間から将来の更新や機能強化をシームレスに取得できることです。専用の名前空間内にカスタムモジュールを作成することを強くおすすめします。

カスタム Namespace のフォルダ構造

Cortex Framework の Namespace フォルダは、カスタムモジュールアーティファクトのパッケージ化と分離に使用されます。カスタム名前空間のフォルダ構造は、次の表で定義されています。

ディレクトリパス	目的と説明
`config/`	Cortex デプロイ構成（必須）新しい Namespace を作成するには、`config.yaml` 内で設定する必要があります。
`src/data_modules/custom_namespace/data_foundation/data_foundation_module_type`	データ基盤モジュール生データから基盤データセットへの変換。各データ基盤はサブディレクトリに分離され、次の要素で構成されます。 `annotations/`: 列とフィールドレベルの説明。 `table_settings.default.yaml`: テーブル設定の構成
`src/data_modules/custom_namespace/data_product/data_product_module_type`	データプロダクトの定義ビジネスロジックと分析モデルが含まれます。各プロダクトはサブディレクトリに分割され、次の要素で構成されます。 `Readme`: モジュールのドキュメント `manifest.yaml`: ビルダーのタイプ、依存関係、構成を宣言します。 `table_settings.default.yaml`: テーブル設定の構成 `annotations/`: 列とフィールドレベルの説明。 `definitions/`: Dataform SQLX または JS ソースファイル。
`src/data_modules/custom_namespace/includes/`	JavaScript ヘルパーここに配置された JavaScript ファイルは、自動的にパッケージ化され、コンパイル中に名前空間パス（`includes/custom_namespace/` など）の下で Dataform モデルで使用できるようになります。
`src/data_modules/custom_namespace/common/`	Namespace 共有ツール Namespace スコープのカスタムビルダー、デプロイツール、その他のツール。

カスタム Namespace の構成

新しい名前空間 custom_namespace は、config.yaml ファイルの対応するセクションを拡張し、src/data_modules/ の下に新しいディレクトリを作成して、新しいモジュールコードアセットを追加することで定義できます。

Google Cloud Cortex Framework コンパイラがカスタム Namespace とモジュールを認識できるようにするには、グローバル構成ファイル（config/config.yaml など）に登録する必要があります。

ステップ A: 名前空間を登録する

data.namespaces ブロックの下に、名前空間のメタデータを追加します。

data:
  namespaces:
    - name: cortex
      path: cortex/
    - name:  custom_namespace    # <-- Name of custom namespace
      path:  custom_namespace/  # <-- Folder name that is used for custom namespace, points to subdirectory of 'src/data_modules/'

ステップ B: カスタムモジュールを構成する

カスタムモジュールを data.modules.foundation または data.modules.product に登録します。type フィールドには、ドット区切りの形式 custom_namespace.module_type を使用します。

data:
  modules:
    foundation:
      - moduleId:  custom_namespace_data_foundation_module_type
        type: custom_namespace.sap   # Format: <namespace>.<module_type>
        dataSourceId: sap_raw_s4
        dataTargetId: data_foundation_sap_custom_namespace
        moduleSettings:
          sapVersion: s4
          mandt: "100"
        # Default table settings file, relative to configuration file directory
        # tableSettings: "../src/data_modules/custom_namespace/data_foundation/data_foundation_module_type/table_settings.default.yaml"
        # Custom table settings file, relative to 'config/' directory
        tableSettings: "custom_namespace/data_foundation/data_foundation_module_type/table_settings.yaml"
        
    product:
      - moduleId: custom_namespace_data_product_module_type
        type: custom_namespace.data_product_module_type # Format: <namespace>.<module_type>
        dependsOn:
          sapModule: custom_namespace_data_foundation_module_type # References an existing foundation moduleId 
        dataTargetId: product_target
        # Custom table settings file, relative to 'config/' directory
        # tableSettings: "custom_namespace/data_product/data_product_module_type/table_settings.yaml"
        # Default table settings file, relative to configuration file directory
        # tableSettings: "../src/data_modules/custom_namespace/data_product/data_product_module_type/table_settings.default.yaml"

カスタム Namespace の共有コード

カスタム名前空間は、モジュール間のコードアーティファクトの共有をサポートしています。サポートされているアーティファクトタイプは次のとおりです。

includes - Dataform アーティファクトで使用可能になる JavaScript ヘルパーが含まれています。src/data_modules/custom_namespace/includes/ フォルダに配置できます。
builders - モジュールのソースコードを Dataform アーティファクトにコンパイルできるカスタムジェネレータクラス。これらは src/data_modules/custom_namespace/common/ に配置できます。

ビルダーの理解と参照

ビルダーは、モジュールソースファイルを Dataform 出力にコンパイルする Python ジェネレータクラスです。Google Cloud Cortex Framework は、柔軟な3 層のビルダー解決シーケンスを使用してモジュールをコンパイルします。

図 1. Cortex Framework 拡張機能ビルダーの解決シーケンス。

Tier 1: グローバルフォールバックビルダー

このフレームワークには、src/common/builders/ にある非常に堅牢なビルダーが含まれています。これらのビルダーはグローバルに登録され、任意のカスタム Namespace で使用できます。

たとえば、カスタムデータプロダクトに標準の SAP データプロダクトビルダーを使用するには、manifest.yaml で sap_product を参照します。

# src/data_modules/custom_namespace/data_product/data_product_module_type/manifest.yaml
type: data_product_module_type
builder: sap_product     # Automatically resolves to the global SapProductBuilder fallback
dependencies:
  sapModule:
    type: sap
    supportedVersions:
      - ecc
      - s4

Tier 2: Namespace-scoped ビルダー

カスタム名前空間内のモジュールに特殊なコンパイラが必要な場合は、その名前空間のカスタムビルダーを登録できます。

src/data_modules/custom_namespace/common/builders/my_builder.py の下にビルダーファイルを作成します。

ビルダークラスに @builder_registry.register("my_builder") アノテーションを付けます。

 from common.builders.base import ProductBuilder
 from common.registry import builder_registry

 @builder_registry.register("my_builder")
 class MyCustomProductBuilder(ProductBuilder):
     # Implement build logic here...

builder: my_builder を使用して、プロダクトの manifest.yaml で参照します。

Tier 3: 個々のプロダクトレベルのビルダー

一意性の高いパイプラインの場合は、単一のデータプロダクトに限定してビルダーを定義できます。

データプロダクトフォルダ（src/data_modules/custom_namespace/data_product/data_product_module_type/builder.py など）内に builder.py という名前のファイルを作成するだけです。

その中で BaseBuilder または ProductBuilder のサブクラスを定義します。

 from common.builders.base import ProductBuilder

 class UniqueSalesPerformanceBuilder(ProductBuilder):
     # Implement unique build logic here...

コンパイラは、登録やデコレータを必要とせずに、このクラスを自動的に動的にインポートして実行します。

次のステップ（データ基盤モジュールの作成とデータプロダクトモジュールの作成）では、データモジュールを Namespace に追加する方法について説明します。

次のステップ: データ基盤モジュールの作成
概要に戻る