Lösungsübersicht

Das Google Cloud Cortex Framework bietet Lösungsbeschleuniger, mit denen Sie vertrauenswürdige, hochwertige Datenprodukte erstellen können, die für erweiterte Analysen und agentische Anwendungsfälle geeignet sind. Das Framework verwendet Google CloudProdukte von Google Cloud, darunter BigQuery, Dataform, Knowledge Catalog und Gemini Enterprise Agent Platform.

Die Lösungsbeschleuniger von Cortex Framework sind als anpassbare Open-Source-Module verfügbar, die Sie sicher in Ihrer eigenen Google Cloud Umgebung bereitstellen können, um schnell Datenprodukte aus Quellsystemen von Unternehmen zu erstellen, anzupassen und zu erweitern.

Durch die Optimierung der Art und Weise, wie Teams erstellen, orchestrieren und bereitstellen, verkürzt Cortex Framework die Zeit bis zur Wertschöpfung und bietet eine zuverlässige Grundlage für vertrauenswürdige Unternehmensanalysen und agentische Anwendungsfälle.

Unterstützte Datenquellen

Die Lösungsbeschleuniger von Cortex Framework sind für die folgenden Datenquellen verfügbar:

Schlüsselkomponenten

Cortex Framework besteht aus den folgenden allgemeinen Lösungskomponenten:

Wichtige Komponenten der Google Cloud Cortex Framework-Lösung

Abbildung 1. Schlüsselkomponenten der Cortex Framework-Lösung.

Framework für Erstellung und Bereitstellung

Das Framework für Erstellung und Bereitstellung orchestriert den Übergang von lokalen Konfigurationen zu Dataform-Pipelines und aktiven BigQuery-Datasets. Es wird mit CLI-Skripts (Command-Line Interface, Befehlszeilenschnittstelle) (cortex-build, cortex-deploy, cortex-build-and-deploy) ausgeführt, die auf Standard-Python-Tools (uv) basieren.

Sie können diese Skripts in verschiedenen Umgebungen ausführen:

  • Lokale Entwicklungsmaschinen: Für die erste Einrichtung, Anpassung, Tests und Fehlerbehebung.
  • Google Cloud **Cloud Shell / virtuelle Workstations**: Sichere, in der Cloud gehostete Entwicklungsumgebungen.
  • CI/CD-Pipelines: Automatisieren von Erstellungen und Bereitstellungen über Systeme wie Cloud Build oder GitHub Actions, um eine kontinuierliche Integration zu gewährleisten.

Das Framework kompiliert Konfigurationsdateien wie config.yaml und table_settings.yaml, analysiert die Schemas der Quelldaten-Assets (einschließlich benutzerdefinierter Spalten) und generiert dynamisch Dataform-JavaScript- und SQLX-Code. Der Code wird dann in ein Dataform-Repository in Google Cloud übertragen und ist sofort für die Pipelineausführung bereit.

Bereitstellungsprozess für das Cortex Framework

Abbildung 2. Bereitstellungsprozess von Cortex Framework.

Datenmodule

Datenmodule stellen dem Framework für Erstellung und Bereitstellung verpackte Lösungsmetadaten zur Verfügung, die die Struktur und die Komponenten der Dataform-Datenpipelines definieren. Es gibt verschiedene Arten von Modulen:

  1. Datengrundlagenmodule: Definieren die Datasets, die den aktuellen Status der operativen Rohdatentabellen darstellen. Sie standardisieren Datentypen, benennen Datenfelder in für Menschen lesbare Geschäftsbegriffe um, verarbeiten Datenänderungen und führen Zeitzonenanpassungen aus.
  2. Datenproduktmodule: Definieren die Analysemodelle, die auf den Inhalten des Datengrundlagenmoduls basieren. Sie implementieren komplexe Geschäftsregeln, KPIs, Aggregationen und funktionsübergreifende Joins (z. B. das Kombinieren von Verkaufsdatensätzen mit Wechselkursen), um bereinigte, verbrauchsbereite Datasets bereitzustellen.
  3. Data Catalog-Module: Definieren die externen Lakehouse-Kataloge, die für externe Tabellenverweise ohne physische Manifeste unterstützt werden.

Module sind Open Source und anpassbar, sodass Sie sie an Ihre individuellen geschäftlichen Anforderungen anpassen können.

Externe Datenkataloge

Cortex Framework unterstützt die direkte Einbindung in externe Datenkataloge mithilfe der Data Catalog-Module. Mit dem Lakehouse-Laufzeitkatalog kann das Framework Tabellen abfragen, die in externen Data Lakes oder Delta Shares verwaltet werden (z. B. Datenprodukte, die mit SAP Business Data Cloud Connect für BigQuery erstellt wurden), ohne dass Daten kopiert werden müssen.

So können Unternehmen von Cortex Framework bereitgestellte Inhalte mit externen Datenprodukten kombinieren und einheitliche Geschäftseinblicke gewinnen, ohne dass doppelter Speicher oder eine doppelte Pipelineverwaltung erforderlich ist.

Dataform-Orchestrierung

Cortex Framework verwendet Dataform, um den Lebenszyklus von Datentransformationen zu verwalten. Dataform bietet eine serverlose Umgebung zum Erstellen, Testen, Versionieren und Planen komplexer SQL-Pipelines in BigQuery.

Anstatt statisches SQL zu schreiben, generiert das Framework den Dataform-Code während der Erstellungsphase dynamisch, um Ihre spezifische Konfiguration und Anpassungen zu berücksichtigen. Nachdem die Daten in Ihrem Dataform-Zielrepository in Google Cloudbereitgestellt wurden, können Sie die generierten Pipelines ausführen, um die angepassten Tabellen und Ansichten zu materialisieren und zu füllen.

BigQuery-Datenmodelle

Alle von Cortex Framework verarbeiteten Daten werden in BigQuery organisiert und gespeichert. Das Framework unterstützt Folgendes:

  • Standardmäßige BigQuery-Tabellen und -Ansichten: Vollständig materialisierte oder virtuelle BigQuery-Datasets, die mit Partitionierung und Clustering optimiert wurden, um die Abfrageleistung zu verbessern und Kosten zu kontrollieren.
  • Verbunddatenquellen: Abfragen, die sich über externe Datasets erstrecken, sodass Sie BigQuery-Speicher mit verbundenen externen Tabellen verknüpfen können.
  • Lakehouse-Laufzeitkatalog: Direkte Abfrage externer Kataloge (z. B. Delta Sharing), die als Tabellen in BigQuery verfügbar sind, ohne dass Daten kopiert werden müssen. So können Datenprodukte aus verschiedenen Datenquellen erstellt werden.

Knowledge Catalog-Einbindung

Knowledge Catalog fungiert als einheitlicher Governance- und Discovery-Katalog für alle Daten-Assets in Ihrem Unternehmen. Cortex Framework ist nativ in Knowledge Catalog eingebunden und verwendet dazu das spezielle Synchronisierungstool cortex-kc-sync.

Wenn dieses Tool ausgeführt wird, registriert es Ihre bereitgestellten Datenprodukte automatisch im Katalog und importiert für Menschen lesbare Namen, detaillierte Geschäftsbeschreibungen und Dokumentationslinks. Es verknüpft physische BigQuery-Tabellen mit logischen Geschäftsdomains, sodass Daten-Assets für Business-Analysten, Data Stewards und KI-Agenten auffindbar sind und gleichzeitig eine robuste Lineage-Verfolgung gewährleistet wird. Weitere Informationen finden Sie unter Knowledge Catalog-Einbindung.

Datenarchitektur

Cortex Framework standardisiert die Datenverarbeitung in BigQuery. Die Architektur ist in drei separate, strukturierte Datenebenen unterteilt, die den Prinzipien des Unternehmens-Data Mesh entsprechen. So werden klare Verantwortlichkeiten, eine hohe Wiederverwendung und eine strikte Trennung der Datenebenen gefördert.

Datenarchitektur des Cortex Framework

Abbildung 4. Datenarchitektur von Cortex Framework und ELT-Schichtung in BigQuery.

Quellsystem

Quellsysteme sind die Ursprünge Ihrer Geschäftsdaten. Dazu können verschiedene Unternehmensanwendungen, Datenbanken oder Plattformen gehören, aus denen Daten extrahiert werden. Eine vollständige Liste der unterstützten Quellen finden Sie unter Unterstützte Datenquellen.

RAW-Ebene

Die Rohdatenebene stellt ein unveränderliches Landing Zone-Dataset in BigQuery für Quelldaten dar, entweder für CDC-Logs (Change Data Capture) oder für CDC-verarbeitete Batches. Obwohl hier häufig CDC-Logs gespeichert werden (z. B. aus SAP ECC oder S/4HANA mit Replikationstools wie BigQuery-Connector für SAP oder BigQuery Toolkit für SAP), ist diese Ebene für jedes Rohdatenformat geeignet. Bei Quellen, die keine CDC-Logs bereitstellen, z. B. Salesforce oder externe API-Feeds, stellt diese Ebene die vollständigen Batch-Extrakte oder Rohdaten-Event-Nutzlasten genau so dar, wie sie eingehen. Diese Ebene speist die Datengrundlagenebene.

Datengrundlagenebene

Auf der Datengrundlagenebene werden die Rohdaten bereinigt, standardisiert und in einer einzigen, zuverlässigen Darstellung der neuesten Quelldaten zusammengeführt. Dabei werden Rohdatentabellen angepassten Strukturen zugeordnet, Datentypen standardisiert, die Leistung durch Partitionierung und Clustering optimiert, Schemas konsolidiert, um die Konsistenz zu gewährleisten, und die Assets mit Metadatenanmerkungen ergänzt. Bei CDC-Quellen (Change Data Capture) werden auf dieser Ebene eingehende Datensätze inkrementell zusammengeführt, um die Leistung zu optimieren und die Abfragekosten zu senken. Weitere Informationen finden Sie unter Datengrundlage.

Datenproduktebene

Die Datenproduktebene enthält verbrauchsbereite Daten-Assets, die für Geschäftsentscheidungen entwickelt wurden. Hier wird Geschäftslogik angewendet, komplexe Systemfelder werden in für Menschen lesbare Geschäftsbegriffe umbenannt, Statuscodes übersetzt, Zeitzonen- und Währungsanpassungen vorgenommen, Messwerte aggregiert und Daten aus mehreren Rohdatentabellen zusammengeführt. Die resultierenden Tabellen und Ansichten sind für die direkte Verwendung durch BI-Dashboards, Berichtstools, Machine Learning-Pipelines und KI-Plattformen wie Gemini Enterprise Agent Platform und BigQuery-Agenten für Konversationsanalysen optimiert. Weitere Informationen finden Sie unter Datenprodukte.

Lösung erweitern

Cortex Framework kombiniert konfigurationsgesteuerte Flexibilität mit KI-gestützter Automatisierung, um die Erweiterung Ihrer Datenlandschaft zu vereinfachen. Unabhängig davon, ob Sie autonome KI-Coding-Assistenten zum Erstellen benutzerdefinierter Tabellen verwenden oder benutzerdefinierte Kompilierungslogik für neue Datenquellen schreiben, bietet das Framework die Tools, die Isolation und die Sicherheitsmechanismen, die erforderlich sind, um Ihre Datenprodukte sicher zu skalieren.

Framework für Erweiterbarkeit

Das Framework für Erweiterbarkeit bietet eine strukturierte Methode zum Anpassen der Datengrundlage und zum Erstellen neuer Datenprodukte. Zu den wichtigsten Funktionen gehören:

  • Benutzerdefinierte Namespaces: Isolieren Sie Ihre Änderungen in einem benutzerdefinierten Verzeichnis (z. B. src/data_modules/custom_namespace/), um Ihre Anpassungen vor dem Überschreiben zu schützen, wenn die Kern-Framework-Pakete aktualisiert werden.
  • Konfiguration als Code: Registrieren Sie neue Datenquellen, Ziele und benutzerdefinierte Module direkt in der globalen config/config.yaml Konfigurationsdatei.
  • Benutzerdefinierte Kompilierungs-Builder: Implementieren Sie benutzerdefinierte Python-Builder-Klassen (builder.py) in Ihren Modulen, um die dynamische SQL-Generierung, benutzerdefinierte Bereinigungsregeln oder quellspezifische Transformationen während der Kompilierungsphase zu automatisieren.

Weitere Informationen finden Sie im Leitfaden zur Erweiterbarkeit.

Agentischer Datenprodukt-Builder

Um Entwicklern und Business-Analysten die Erweiterung des Frameworks zu erleichtern, bietet Cortex Framework verpackte Skills. Diese Skills leiten KI-Coding-Assistenten (z. B. Antigravity in Kombination mit Gemini) an, um Folgendes zu tun:

  • Physische Schemas prüfen: Genaue Spaltennamen, -typen und -beschreibungen direkt aus replizierten SAP-DDIC-Tabellen (Data Dictionary) abrufen, ohne Halluzinationen.
  • Vorlagenmodule generieren: Namespaces, Manifeste, Tabelleneinstellungen, SQLX/JS-Modelle und Anmerkungen automatisch generieren.
  • Änderungen validieren: Linting-Regeln, Namensprüfungen und Kompilierungsprüfungen ausführen, um die Codequalität vor der Bereitstellung zu verbessern.

Weitere Informationen finden Sie unter Agentische Funktionen.

Nächste Schritte

Bereit zum Erstellen und Bereitstellen? In den folgenden Leitfäden erfahren Sie, wie Sie Ihre Umgebung einrichten:

  • Datenprodukte: Katalog der verfügbaren Datenprodukte ansehen.
  • Datengrundlage: Informationen zu den zugrunde liegenden grundlegenden Tabellen und Feldern.
  • Demobereitstellung: Lösungsinhalte mit Demodaten in wenigen Minuten bereitstellen, um Cortex Framework in Aktion zu sehen.
  • Produktionsbereitstellung: Schritt-für-Schritt-Anleitung zum Konfigurieren und Bereitstellen von Cortex Framework für Ihre Unternehmensdaten.