解决方案概览
Google Cloud Cortex Framework 提供解决方案加速器，可帮助您构建可信赖的高质量数据产品，以用于高级分析和智能体应用场景。该框架使用 Google Cloud的产品，包括 BigQuery、Dataform、Knowledge Catalog 和 Gemini Enterprise Agent Platform。
Cortex Framework 解决方案加速器以可自定义的开源模块形式提供，您可以在自己的 Google Cloud 环境中安全地部署这些模块，以便快速构建、自定义和扩展企业源系统中的数据产品。
通过简化团队构建、编排和部署的方式，Cortex Framework 可缩短价值实现时间，并为可信的企业分析和智能体使用情形提供高保真基础。
支持的数据源
Cortex Framework 解决方案加速器适用于以下数据源：
关键组件
Cortex Framework 包含以下高级解决方案组件：
构建和部署框架
构建和部署框架可协调从本地配置到 Dataform 流水线、有效 BigQuery 数据集的过渡，并使用由标准 Python 工具 (uv) 提供支持的命令行界面 (CLI) 脚本（cortex-build、cortex-deploy、cortex-build-and-deploy）执行。
您可以在各种环境中运行这些脚本：
- 本地开发机器：用于初始设置、自定义、测试和调试。
- Google Cloud Cloud Shell / 虚拟工作站：安全、云托管的开发者环境。
- CI/CD 流水线：通过 Cloud Build 或 GitHub Actions 等系统自动执行构建和部署，以确保持续集成。
该框架会编译配置文件（例如 config.yaml 和 table_settings.yaml），分析源数据资产（包括自定义列）的架构，并动态生成 Dataform JavaScript 和 SQLX 代码。然后，代码会被推送到 Google Cloud 中的 Dataform 代码库，并立即准备好执行流水线。
数据模块
数据模块提供构建和部署框架，其中包含打包的解决方案元数据，用于定义 Dataform 数据流水线的结构和组件。模块有多种类型：
- 数据基础模块：定义表示原始运营表的最新状态的数据集。它们可以标准化数据类型、将数据字段重命名为人类可读的业务术语、处理数据更改，以及执行时区对齐。
- 数据产品模块：定义基于数据基础模块内容构建的分析模型。他们会实现复杂的业务规则、KPI、汇总和跨功能联接（例如，将销售记录与货币汇率相结合），以提供可直接使用且干净的数据集。
- 数据目录模块：定义支持外部表引用（不含物理清单）的外部 Lakehouse Catalog。
模块是开源的，并且支持自定义，因此您可以根据自己的独特业务需求对其进行调整。
外部数据目录
Cortex Framework 支持使用数据目录模块与外部数据目录直接集成。借助 Lakehouse 运行时目录，该框架可以查询在外部数据湖或 Delta 共享中管理的表（例如使用 SAP Business Data Cloud Connect for BigQuery 获取的数据产品），而不会产生任何复制开销。
这样一来，组织就可以将 Cortex Framework 交付的内容与外部数据产品相结合，从而创建统一的业务数据分析，而无需重复存储或维护流水线。
Dataform 编排
Cortex Framework 使用 Dataform 来管理数据转换的生命周期。Dataform 提供了一个无服务器环境，用于在 BigQuery 中构建、测试、版本控制和安排复杂的 SQL 流水线。
该框架会在 build 阶段动态生成 Dataform 代码，以反映您的特定配置和自定义设置，而不是编写静态 SQL。将数据暂存到 Google Cloud中的目标 Dataform 代码库后，您可以执行生成的流水线，以实现并填充规范化的表和视图。
BigQuery 数据模型
Cortex Framework 处理的所有数据都会整理并存储在 BigQuery 中。该框架支持：
- 标准 BigQuery 表和视图：完全具体化或虚拟 BigQuery 数据集，通过分区和聚簇进行优化，以提高查询性能并控制费用。
- 联合数据源：跨外部数据集的查询，可让您将 BigQuery 存储空间与联合外部表联接起来。
- Lakehouse 运行时目录：直接对作为 BigQuery 中的表公开的外部目录（例如 Delta Sharing）进行零复制查询，支持跨数据源构建数据产品。
Knowledge Catalog 集成
Knowledge Catalog 可充当企业中所有数据资产的统一治理和发现目录。Cortex Framework 使用专用同步工具 cortex-kc-sync 与 Knowledge Catalog 原生集成。
执行此工具后，它会自动在目录中注册已部署的数据产品，并导入人类可读的名称、详细的业务说明和文档链接。它将物理 BigQuery 表与逻辑业务网域相关联，使业务分析师、数据管理员和 AI 代理能够发现数据资产，同时确保可靠的沿袭跟踪。如需了解详情，请参阅Knowledge Catalog 集成。
数据架构
Cortex Framework 可标准化 BigQuery 中的数据处理。该架构分为三个不同的结构化数据层，与企业数据网格原则保持一致，可明确数据所有权、提高数据重用率，并严格分离数据层。
源系统
源系统是商家数据的来源。这些来源可以包括各种企业应用、数据库或平台，从中提取数据。如需查看支持的来源的完整列表，请参阅支持的数据源。
原始层
原始层表示 BigQuery 中用于存储源数据的不可变着陆区数据集，可以是变更数据捕获 (CDC) 日志，也可以是经过 CDC 处理的批次。虽然它经常存储 CDC 日志（例如，使用 BigQuery Connector for SAP 或 BigQuery Toolkit for SAP 等复制工具从 SAP ECC 或 S/4HANA 存储的 CDC 日志），但它旨在表示任何原始格式。对于不提供 CDC 日志的来源（例如 Salesforce 或外部 API Feed），此层表示完整的批量提取或原始事件载荷（完全按照它们到达时的状态）。此层为数据基础层提供数据。
数据基础层
数据基础层可清理、标准化原始着陆数据，并将其转换为可靠的最新源数据表示形式。它将原始表映射到一致的结构，标准化数据类型，通过分区和聚簇优化性能，整合架构以确保一致性，并使用元数据注释来扩充资源。对于变更数据捕获 (CDC) 源，此层会以增量方式合并传入的记录，以优化性能并降低查询费用。如需了解详情，请参阅数据基础。
数据产品层
数据产品层包含可供使用的数据资产，这些资产旨在帮助企业做出决策。它会应用业务逻辑，将复杂的系统字段重命名为人类可读的业务术语，转换状态代码，执行时区和币种调整，汇总指标，以及联接多个原始表中的数据。生成的表和视图经过优化，可供 BI 信息中心、报告工具、机器学习流水线和 AI 平台（例如 Gemini Enterprise Agent Platform 和 BigQuery 对话式分析代理）直接使用。如需了解详情，请参阅数据产品。
扩展解决方案
Cortex Framework 将配置驱动的灵活性与 AI 辅助的自动化相结合，可简化您扩展数据环境的方式。无论您是使用自主 AI 编码助理来构建自定义表格，还是为新数据源编写自定义编译逻辑，该框架都能提供必要的工具、隔离和安全门，以便安全地扩缩数据产品。
可扩展性框架
可扩展性框架提供了一种结构化方法，用于自定义数据基础并构建新的数据产品。主要功能包括：
- 自定义命名空间：将更改隔离在自定义目录（例如
src/data_modules/custom_namespace/）中，以防止在更新核心框架软件包时覆盖自定义项。 - 将配置作为代码：直接在全局
config/config.yaml配置文件中注册新的数据源、目标和自定义模块。 - 自定义编译构建器：在模块中实现自定义 Python 构建器类 (
builder.py)，以便在编译阶段自动执行动态 SQL 生成、自定义清理规则或特定于来源的转换。
如需了解详情，请参阅可扩展性指南。
智能体数据产品构建器
为了帮助开发者和业务分析师扩展该框架，Cortex Framework 提供了打包的技能。这些技能可引导 AI 编码助理（例如与 Gemini 配对的 Antigravity）执行以下操作：
- 检查物理架构：直接从复制的 SAP 数据字典 (DDIC) 表中检索准确的列名称、类型和说明，而不会出现幻觉。
- 生成模板模块：自动生成命名空间、清单、表格设置、SQLX/JS 模型和注释。
- 验证更改：在部署之前运行 lint 规则、命名审核和编译检查，以提高代码质量。
如需了解详情，请参阅智能体功能。
后续步骤
准备好构建和部署了吗？请参阅以下指南，让您的环境正常运行：
- 数据产品：探索可用数据产品的目录。
- 数据基础：了解底层基础表和字段。
- 演示部署：在几分钟内部署包含演示数据的解决方案内容，快速了解 Cortex Framework 的实际效果。
- 生产环境部署：按照分步说明为企业数据配置和部署 Cortex Framework。