Übersicht
Das Google Cloud Cortex Framework bietet Data Product Accelerators, mit denen Rohdaten aus strategischen Unternehmenssystemen in vertrauenswürdige, hochwertige Datenassets umgewandelt werden können, die für erweiterte Analysen und KI-Anwendungen bereit sind.
Das Google Cloud Cortex Framework wird als anpassbarer Open-Source-Code bereitgestellt, der sicher in Ihrer eigenen Google Cloud Umgebung bereitgestellt wird. Es bietet ein serverloses, BigQuery-natives Ausführungsmodell, das auf Google Cloud Dataformbasiert.
Durch die Optimierung der Art und Weise, wie Teams Datenpipelines erstellen, orchestrieren und bereitstellen, beschleunigt Cortex Framework die Wertschöpfung und bietet eine zuverlässige Grundlage für die nächste Generation von KI-Agenten für Unternehmen.
Datenarchitektur
Cortex Framework standardisiert die Datenverarbeitung in BigQuery in drei verschiedene Architekturschichten, wobei die ELT-Methode (Extrahieren, Laden und Transformieren) verwendet wird. Diese standardisierte Daten strukturierungsstrategie entspricht den Konzepten des Data Mesh für Unternehmen.
Quellsystem
Quellsysteme sind die Ursprünge der aufgenommenen Daten. Quellsysteme können verschiedene Unternehmensanwendungen, Datenbanken oder Plattformen umfassen, aus denen Daten extrahiert werden. Alle unterstützten Quellsysteme finden Sie unter Unterstützte Quellsysteme.
Rohdatenschicht
Die Rohdatenschicht stellt das unveränderliche Landing-Zone-Dataset in BigQuery für Quelldaten dar, entweder CDC-Logs (Change Data Capture) oder Batch-Extraktionen. Sie enthält häufig CDC-Logs (z. B. aus SAP ECC oder S/4HANA mit Replikationstools wie BigQuery Connector for SAP oder BigQuery Toolkit for SAP), ist aber so konzipiert, dass sie jedes Rohdatenformat darstellen kann. Bei Quellen, die keine CDC-Logs bereitstellen, z. B. Salesforce oder externe API-Feeds, stellt diese Schicht die vollständigen Batch-Extraktionen oder Rohdaten-Nutzlasten genau so dar, wie sie eingehen, mit minimalen bis gar keinen strukturellen Änderungen. Diese Schicht speist die Datengrundlageschicht.
Datengrundlagen-Layer
Die Datengrundlageschicht ist eine standardisierte, bereinigte Darstellung der neuesten Datensätze der Quelldaten und speist die Datenproduktschicht. Diese Schicht wird für CDC-fähige Quellen inkrementell aktualisiert und verwendet Ansichten für nicht CDC-fähige sowie extern implementierte CDC-Quellen. Die Implementierung wird an die Funktionen des Quellsystems angepasst. Weitere Informationen finden Sie unter Datengrundlage.
Datenproduktschicht
Die Datenproduktschicht bietet Aggregationen, KPI-Berechnungen, Geschäftslogik und anwendungsübergreifende Verbindungslogik. Die von der Datenproduktschicht bereitgestellten Ansichten und Tabellen sind für die direkte Verwendung durch BigQuery-Agenten für Konversationsanalysen, Gemini Enterprise, ML-Modelle, BI-Dashboards und ‑Berichte sowie Anwendungsintegrationen konzipiert. Weitere Informationen finden Sie unter Datenprodukte.
Datenverwaltung
Cortex Framework uses Dataform to manage the lifecycle of data. Mit Dataform können Sie die Datentransformation für die Datenintegration verwalten. Es bietet einen Dienst, mit dem Datenanalysten komplexe Workflows für die Datentransformation in BigQueryentwickeln, testen, versionieren und planen können. Um sich dynamisch an Anpassungen und Erweiterungen anzupassen, erstellt Cortex Framework den Dataform-Code während der Build-Phase und stellt ihn im Dataform-Repository bereit in Google Cloud.
Wenn Sie die Ausführung der Pipelines in der Dataform-UI auslösen, werden die BigQuery-Tabellen und ‑Ansichten der Datengrundlage- und Datenproduktschichten erstellt und mit Daten gefüllt.
Nächste Schritte
Bereit zum Erstellen und Bereitstellen? In den folgenden Leitfäden erfahren Sie, wie Sie Ihre Umgebung einrichten:
- Demobereitstellung: Stellen Sie Lösungsinhalte mit Demodaten in wenigen Minuten bereit, um Cortex Framework in Aktion zu sehen.
- Bereitstellung: Folgen Sie der Schritt-für-Schritt-Anleitung, um Cortex Framework für Ihre Unternehmensdaten zu konfigurieren und bereitzustellen.