概要
Google Cloud Cortex Framework は、戦略的なエンタープライズ システムの未加工データを、高度な分析と AI に対応した信頼性の高い高品質なデータアセットに変換するように設計されたデータ プロダクト アクセラレータを提供します。
カスタマイズ可能なオープンソース コードとして提供され、独自のGoogle Cloud 環境に安全にデプロイされる Google Cloud Cortex Framework は、Google Cloud Dataform を活用したサーバーレスの BigQuery ネイティブ実行モデルを提供します。
Cortex Framework は、チームがデータ パイプラインを構築、オーケストレート、デプロイする方法を効率化することで、価値実現までの時間を短縮し、次世代のエンタープライズ AI エージェントの忠実度の高い基盤を提供します。
データ アーキテクチャ
Cortex Framework は、抽出、読み込み、変換（ELT）の手法を使用して、BigQuery 内のデータ処理を 3 つの異なるアーキテクチャ レイヤに標準化します。この標準化されたデータ レイヤリング戦略は、エンタープライズ データメッシュのコンセプトに沿ったものです。
ソースシステム
ソースシステムは、取り込まれたデータの出所です。ソースシステムには、データの抽出元となるさまざまなエンタープライズ アプリケーション、データベース、プラットフォームが含まれます。サポートされているすべてのソースシステムについては、サポートされているソースシステムをご覧ください。
Raw レイヤ
Raw レイヤは、ソースデータの BigQuery 内の不変のランディング ゾーン データセット（変更データ キャプチャ（CDC）ログまたはバッチ抽出）を表します。CDC ログ（BigQuery Connector for SAP や BigQuery Toolkit for SAP などのレプリケーション ツールを使用した SAP ECC や S/4HANA など）を頻繁に保存しますが、任意の未加工形式を表すように設計されています。Salesforce や外部 API フィードなど、CDC ログを提供しないソースの場合、このレイヤは、構造的な変更を最小限に抑え、バッチ抽出全体または未加工のイベント ペイロードを到着したとおりに表します。このレイヤは、データ基盤レイヤにデータを供給します。
データ基盤レイヤ
データ基盤レイヤは、ソースデータの最新レコードを標準化してクリーンに表現したもので、データ プロダクト レイヤにデータを供給します。このレイヤは、CDC 対応のソースに対して増分的に更新され、CDC 非対応のソースと外部実装の CDC ソースにはビューが使用されます。実装は、ソースシステムの機能に合わせて調整されます。詳細については、データ基盤をご覧ください。
データ プロダクト レイヤ
データ プロダクト レイヤは、集計、KPI 計算、ビジネス ロジック、クロス アプリケーション接続ロジックを提供します。データ プロダクト レイヤによって公開されるビューとテーブルは、BigQuery 会話型分析エージェント、Gemini Enterprise、ML モデル、BI ダッシュボードとレポート、アプリケーション統合で直接使用できるように設計されています。詳細については、データ プロダクトをご覧ください。
データ マネジメント
Cortex Framework は Dataform を使用してデータのライフサイクルを管理します。Dataform を使用すると、データ統合のデータ変換を管理できます。データ アナリストが BigQuery でデータ変換を行う複雑なワークフローを開発、テスト、バージョン管理、スケジュール設定するためのサービスを提供します。カスタマイズと拡張機能に動的に適応するために、Cortex Framework はビルドフェーズで Dataform コードを作成し、 Google Cloudの Dataform リポジトリにステージングします。
Dataform UI でパイプラインの実行をトリガーすると、データ基盤とデータ プロダクト レイヤの BigQuery テーブルとビューが作成され、データが入力されます。
次のステップ
構築とデプロイの準備はできましたか？環境を立ち上げるには、次のガイドをご覧ください。
- デモのデプロイ: デモデータを含むソリューション コンテンツを数分でデプロイし、Cortex Framework の動作をすぐに確認できます。
- デプロイ: 手順に沿って、エンタープライズ データ用に Cortex Framework を構成してデプロイします。