概要
Google Cloud Cortex Framework は、戦略的なエンタープライズ システムの未加工データを、高度な分析と AI に対応した信頼性の高い高品質のデータアセットに変換するように設計されたデータ プロダクト アクセラレータを提供します。
Google Cloud Cortex Framework は、独自の Google Cloud 環境に安全にデプロイできるカスタマイズ可能なオープンソース コードとして提供され、 Dataform を利用した Google Cloud サーバーレスの BigQuery ネイティブ 実行モデルを提供します。
Cortex Framework は、チームがデータ パイプラインを構築、オーケストレーション、デプロイする方法を効率化することで、価値実現までの時間を短縮し、次世代のエンタープライズ AI エージェントの忠実度の高い基盤を提供します。
データ アーキテクチャ
Cortex Framework は、抽出、読み込み、変換（ELT）の方法を使用して、BigQuery 内のデータ処理を 3 つの異なるアーキテクチャ レイヤに標準化します。この標準化されたデータ レイヤリング戦略は、エンタープライズ データメッシュのコンセプトに沿ったものです。
ソースシステム
ソースシステムは、取り込まれたデータの発生元です。ソースシステムには、データの抽出元となるさまざまなエンタープライズ アプリケーション、データベース、プラットフォームが含まれます。サポートされているすべてのソースシステムについては、 サポートされているソースシステムをご覧ください。
未加工レイヤ
未加工レイヤは、ソースデータの BigQuery 内の不変のランディング ゾーン データセットを表します。これは、変更データ キャプチャ（CDC）ログまたはバッチ抽出です。多くの場合、CDC ログ （BigQuery Connector for SAP や BigQuery Toolkit for SAP などのレプリケーション ツールを使用して SAP ECC または S/4HANA から取得） を保存しますが、任意の未加工形式を表すように設計されています。Salesforce や外部 API フィードなど、CDC ログを提供しないソースの場合、このレイヤは、構造的な変更を最小限に抑えて、完全なバッチ抽出または未加工のイベント ペイロードをそのまま表します。 このレイヤは、データ基盤レイヤにデータをフィードします。
データ基盤レイヤ
データ基盤レイヤは、ソースデータの最新レコードの 標準化されたクリーンな表現であり、 データ プロダクト レイヤにフィードされます。このレイヤは、CDC 対応ソースの場合は増分方式で更新され、CDC 非対応ソースと外部実装の CDC ソースにはビューを使用します。実装は、ソースシステムの機能に合わせて調整されます。詳細については、 データ基盤をご覧ください。
データ プロダクト レイヤ
データ プロダクト レイヤは、集計、KPI 計算、ビジネス ロジック、クロス アプリケーション接続ロジックを提供します。データ プロダクト レイヤによって公開されるビューとテーブルは、BigQuery 会話型分析エージェント、Gemini Enterprise、Machine Learning モデル、BI ダッシュボードとレポート、Application Integration で直接使用できるように設計されています。詳細については、 データ プロダクトをご覧ください。
データ マネジメント
Cortex Framework は Dataform を使用してデータのライフサイクル を管理します。Dataform を使用すると、データ統合のデータ変換を管理できます。データ アナリストが BigQueryでデータ変換を行う複雑なワークフローを開発、テスト、バージョン管理、スケジュール設定するためのサービスを提供します。カスタマイズと拡張機能に動的に対応するため、 Cortex Framework はビルドフェーズで Dataform コードを作成し、 の Dataform リポジトリにステージングします Google Cloud。
Dataform UI でパイプラインの実行をトリガーすると、データ基盤レイヤとデータ プロダクト レイヤの BigQuery テーブルとビューが作成され、データが入力されます。
次のステップ
構築とデプロイの準備ができたら、次のガイドで環境を立ち上げてみましょう。
- デモのデプロイ: サンプル ソリューション コンテンツを数分でデプロイして、Cortex Framework の動作を確認します。
- デプロイ: 手順に沿って、エンタープライズ データ用に Cortex Framework を 構成してデプロイします。