Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

ソリューションの概要

Google Cloud Cortex Framework は、高度な分析とエージェント型ユースケースに対応した、信頼性の高い高品質のデータプロダクトの構築に役立つソリューションアクセラレータを提供します。このフレームワークは、BigQuery、Dataform、Knowledge Catalog、Gemini Enterprise Agent Platform などの Google Cloudのプロダクトを使用します。

Cortex Framework ソリューションアクセラレータは、カスタマイズ可能なオープンソースモジュールとして提供されます。このモジュールは、独自の Google Cloud 環境に安全にデプロイして、エンタープライズソースシステムからデータプロダクトを迅速に構築、カスタマイズ、拡張するために使用します。

Cortex Framework は、チームが構築、オーケストレーション、デプロイを行う方法を効率化することで、価値実現までの時間を短縮し、信頼できるエンタープライズ分析とエージェント型ユースケースの高忠実度基盤を提供します。

サポートされるデータソース

Cortex Framework ソリューションアクセラレータは、次のデータソースで使用できます。

主要コンポーネント

Cortex Framework は、次の大まかなソリューションコンポーネントで構成されています。

図 1. Cortex Framework の主要なソリューションコンポーネント。

ビルドとデプロイのフレームワーク

ビルドとデプロイのフレームワークは、ローカル構成から Dataform パイプライン、アクティブな BigQuery データセットへの移行を調整し、標準の Python ツール（uv）を搭載したコマンドラインインターフェース（CLI）スクリプト（cortex-build、cortex-deploy、cortex-build-and-deploy）を使用して実行されます。

これらのスクリプトは、さまざまな環境で実行できます。

ローカル開発マシン: 初期設定、カスタマイズ、テスト、デバッグに使用します。
Google Cloud Cloud Shell / 仮想ワークステーション: 安全なクラウドホスト型の開発環境。
CI/CD パイプライン: Cloud Build や GitHub Actions などのシステムを使用してビルドとデプロイを自動化し、継続的インテグレーションを確保します。

このフレームワークは、構成ファイル（config.yaml や table_settings.yaml など）をコンパイルし、ソースデータアセットのスキーマ（カスタム列を含む）を分析して、Dataform JavaScript と SQLX コードを動的に生成します。コードは Google Cloud の Dataform リポジトリに push され、すぐにパイプラインの実行に使用できます。

図 2. Cortex Framework のデプロイプロセス。

データモジュール

データモジュールは、Dataform データパイプラインの構造とコンポーネントを定義するパッケージ化されたソリューションメタデータを含む、ビルドとデプロイのフレームワークを提供します。モジュールにはさまざまな種類があります。

データ基盤モジュール: 生の運用テーブルの最新の状態を表すデータセットを定義します。データ型の標準化、データフィールドの人間が読めるビジネス用語への名前変更、データ変更の処理、タイムゾーンの調整を行います。
データプロダクトモジュール: データ基盤モジュールのコンテンツに基づいて構築された分析モデルを定義します。複雑なビジネスルール、KPI、集計、部門横断的な結合（販売記録と為替レートの組み合わせなど）を実装して、クリーンで消費可能なデータセットを公開します。
データカタログモジュール: 物理マニフェストなしで外部テーブル参照用にサポートされている外部レイクハウスカタログを定義します。

モジュールはオープンソースでカスタマイズ可能であるため、独自のビジネス要件に合わせて調整できます。

外部データカタログ

Cortex Framework は、データカタログモジュールを使用して、外部データカタログとの直接統合をサポートしています。Lakehouse ランタイムカタログを使用すると、フレームワークは、外部データレイクまたはデルタ共有で管理されているテーブル（SAP Business データクラウド Connect for BigQuery を使用して取得されたデータプロダクトなど）をコピーのオーバーヘッドなしでクエリできます。

これにより、組織は Cortex Framework で提供されるコンテンツと外部データプロダクトを組み合わせて、重複するストレージやパイプラインのメンテナンスなしで、統合されたビジネス分析情報を生成できます。

Dataform オーケストレーション

Cortex Framework は Dataform を使用してデータ変換のライフサイクルを管理します。Dataform は、BigQuery 内で複雑な SQL パイプラインを構築、テスト、バージョン管理、スケジュール設定するためのサーバーレス環境を提供します。

静的 SQL を記述する代わりに、フレームワークはビルドフェーズで Dataform コードを動的に生成し、特定の構成とカスタマイズを反映します。 Google Cloudのターゲット Dataform リポジトリにステージングしたら、生成されたパイプラインを実行して、準拠したテーブルとビューをマテリアライズして入力できます。

BigQuery データモデル

Cortex Framework で処理されたすべてのデータは、BigQuery に整理されて保存されます。このフレームワークは次の機能をサポートしています。

標準の BigQuery テーブルとビュー: クエリパフォーマンスの向上と費用の管理のために、パーティショニングとクラスタリングで最適化された、完全にマテリアライズドされた BigQuery データセットまたは仮想 BigQuery データセット。
フェデレーションデータソース: 外部データセットにまたがるクエリ。BigQuery ストレージをフェデレーション外部テーブルと結合できます。
Lakehouse ランタイムカタログ: BigQuery のテーブルとして公開された外部カタログ（デルタ共有など）の直接クエリ（コピーなし）。データソース全体でデータプロダクトの構築をサポートします。

Knowledge Catalog 統合

Knowledge Catalog は、企業全体のすべてのデータアセットに対する統合ガバナンスと検出カタログとして機能します。Cortex Framework は、専用の同期ツール cortex-kc-sync を使用して Knowledge Catalog とネイティブに統合されます。

このツールを実行すると、デプロイされたデータプロダクトがカタログに自動的に登録され、人間が読める名前、詳細なビジネスの説明、ドキュメントリンクがインポートされます。物理的な BigQuery テーブルを論理的なビジネスドメインにリンクすることで、データアセットをビジネスアナリスト、データスチュワード、AI エージェントが検出できるようにし、堅牢なリネージトラッキングを保証します。詳細については、Knowledge Catalog の統合をご覧ください。

データアーキテクチャ

Cortex Framework は、BigQuery 内のデータ処理を標準化します。このアーキテクチャは、エンタープライズデータメッシュの原則に沿った 3 つの明確な構造化データレイヤに編成されており、明確な所有権、高い再利用性、データレイヤの厳密な分離を促進します。

図 4. BigQuery 内の Cortex Framework のデータアーキテクチャと ELT レイヤリング。

ソースシステム

ソースシステムは、ビジネスデータの出所です。これには、データの抽出元となるさまざまなエンタープライズアプリケーション、データベース、プラットフォームが含まれます。サポートされているソースの完全なリストについては、サポートされているデータソースをご覧ください。

Raw レイヤ

RAW レイヤは、ソースデータの変更データキャプチャ（CDC）ログまたは CDC 処理済みバッチのいずれかの、BigQuery の変更不可のランディングゾーンデータセットを表します。CDC ログ（BigQuery Connector for SAP や BigQuery Toolkit for SAP などのレプリケーションツールを使用する SAP ECC や S/4HANA など）を頻繁に保存しますが、任意の未加工形式を表すように設計されています。Salesforce や外部 API フィードなど、CDC ログを提供しないソースの場合、このレイヤは、到着したとおりの完全なバッチ抽出または未加工のイベントペイロードを表します。このレイヤは、データ基盤レイヤにデータを供給します。

データ基盤レイヤ

データ基盤レイヤは、未加工のランディングデータをクリーンアップ、標準化、準拠させ、最新のソースデータの単一の信頼性の高い表現にします。未加工のテーブルを準拠した構造にマッピングし、データ型を標準化し、パーティショニングとクラスタリングでパフォーマンスを最適化し、スキーマを統合して整合性を確保し、メタデータアノテーションでアセットを拡張します。変更データキャプチャ（CDC）ソースの場合、このレイヤは受信レコードを増分的に統合して、パフォーマンスを最適化し、クエリ費用を削減します。詳細については、データ基盤をご覧ください。

データプロダクトレイヤ

データプロダクトレイヤには、ビジネス上の意思決定用に設計された、すぐに使用できるデータアセットが格納されます。ビジネスロジックを適用し、複雑なシステムフィールドを人間が読めるビジネス用語に名前変更し、ステータスコードを変換し、タイムゾーンと通貨の調整を行い、指標を集計し、複数の元テーブルにわたってデータを結合します。生成されたテーブルとビューは、BI ダッシュボード、レポートツール、ML パイプライン、Gemini Enterprise Agent Platform や BigQuery 会話型分析エージェントなどの AI プラットフォームで直接使用できるように最適化されています。詳細については、データプロダクトをご覧ください。

ソリューションの拡張

Cortex Framework は、構成主導の柔軟性と AI 支援の自動化を組み合わせることで、データ環境の拡張方法を簡素化します。自律型 AI コーディングアシスタントを使用してカスタムテーブルを構築する場合でも、新しいデータソース用のカスタムコンパイルロジックを作成する場合でも、このフレームワークは、データプロダクトを安全にスケーリングするために必要なツール、分離、安全ゲートを提供します。

拡張性フレームワーク

拡張性フレームワークは、データ基盤をカスタマイズして新しいデータプロダクトを構築するための構造化された方法を提供します。主な機能は次のとおりです。

カスタム名前空間: カスタムディレクトリ（src/data_modules/custom_namespace/ など）で変更を分離し、コアフレームワークパッケージが更新されたときにカスタマイズが上書きされないようにします。
構成コード: 新しいデータソース、ターゲット、カスタムモジュールをグローバル config/config.yaml 構成ファイルに直接登録します。
カスタムコンパイルビルダー: モジュール内にカスタム Python ビルダークラス（builder.py）を実装して、コンパイルフェーズで動的 SQL 生成、カスタムクリーニングルール、ソース固有の変換を自動化します。

詳しくは、拡張性ガイドをご覧ください。

エージェントを活用したデータプロダクトビルダー

デベロッパーとビジネスアナリストがフレームワークを拡張できるように、Cortex Framework にはパッケージ化されたスキルが用意されています。これらのスキルは、AI コーディングアシスタント（Gemini とペア設定された Antigravity など）をガイドして、次のことを行います。

物理スキーマを検査する: 複製された SAP データディクショナリ（DDIC）テーブルから、正確な列名、型、説明を直接取得します。
テンプレートモジュールを生成する: Namespace、マニフェスト、テーブル設定、SQLX/JS モデル、アノテーションを自動的に生成します。
変更を検証する: デプロイ前に、lint ルール、命名監査、コンパイルチェックを実行して、コードの品質を向上させます。

詳しくは、エージェント機能をご覧ください。

次のステップ

構築とデプロイの準備はできましたか？環境を立ち上げるには、次のガイドをご覧ください。

データプロダクト: 利用可能なデータプロダクトのカタログを確認します。
データ基盤: 基盤となるテーブルとフィールドを理解します。
デモデプロイ: デモデータを含むソリューションコンテンツを数分でデプロイし、Cortex Framework の動作をすぐに確認できます。
本番環境へのデプロイ: 手順に沿って、エンタープライズデータ用に Cortex Framework を構成してデプロイします。