Übersicht
Das Google Cloud Cortex Framework bietet Datenproduktbeschleuniger, mit denen Rohdaten aus strategischen Unternehmenssystemen in vertrauenswürdige, hochwertige Datenassets umgewandelt werden können, die für erweiterte Analysen und KI-Anwendungen bereit sind.
Das Google Cloud Cortex Framework wird als anpassbarer Open-Source-Code bereitgestellt, der sicher in Ihrer eigenen Google Cloud Umgebung eingesetzt werden kann. Es bietet ein serverloses, BigQuery-natives Ausführungsmodell, das auf Google Cloud Dataformbasiert.
Durch die Optimierung der Art und Weise, wie Teams Datenpipelines erstellen, orchestrieren und bereitstellen, beschleunigt das Cortex Framework die Wertschöpfung und bietet eine zuverlässige Grundlage für die nächste Generation von KI-Agents für Unternehmen.
Datenarchitektur
Das Cortex Framework standardisiert die Datenverarbeitung in BigQuery in drei verschiedene Architekturschichten, wobei die ELT-Methode (Extrahieren, Laden und Transformieren) verwendet wird. Diese standardisierte Daten strukturierungsstrategie entspricht den Konzepten des Data Mesh für Unternehmen.
Quellsystem
Quellsysteme sind die Ursprünge der aufgenommenen Daten. Quellsysteme können verschiedene Unternehmensanwendungen, Datenbanken oder Plattformen umfassen, aus denen Daten extrahiert werden. Alle unterstützten Quellsysteme finden Sie unter Unterstützte Quellsysteme.
Rohdatenschicht
Die Rohdatenschicht stellt das unveränderliche Landing-Zone-Dataset in BigQuery für Quelldaten dar, entweder CDC-Logs (Change Data Capture) oder Batch-Extraktionen. Obwohl häufig CDC-Logs gespeichert werden (z. B. aus SAP ECC oder S/4HANA mit Replikationstools wie BigQuery Connector for SAP oder BigQuery Toolkit for SAP), ist diese Schicht so konzipiert, dass sie jedes Rohformat darstellen kann. Bei Quellen, die keine CDC-Logs bereitstellen, z. B. Salesforce oder externe API-Feeds, stellt diese Schicht die vollständigen Batch-Extraktionen oder Rohdaten-Nutzlasten genau so dar, wie sie eingehen, mit minimalen bis gar keinen strukturellen Änderungen. Diese Schicht speist die Datengrundlageschicht.
Datengrundlagen-Layer
Die Datengrundlageschicht ist eine standardisierte, bereinigte Darstellung der neuesten Datensätze der Quelldaten und speist die Datenproduktschicht. Diese Schicht wird für CDC-fähige Quellen inkrementell aktualisiert und verwendet Ansichten für nicht CDC-fähige sowie extern implementierte CDC-Quellen. Die Implementierung wird an die Funktionen des Quellsystems angepasst. Weitere Informationen finden Sie unter Datengrundlage.
Datenproduktschicht
Die Datenproduktschicht bietet Aggregationen, KPI-Berechnungen, Geschäftslogik und anwendungsübergreifende Verbindungslogik. Die von der Datenproduktschicht bereitgestellten Ansichten und Tabellen sind für die direkte Verwendung durch BigQuery Conversational Analytics Agents, Gemini Enterprise, ML-Modelle, BI-Dashboards und ‑Berichte sowie Anwendungsintegrationen konzipiert. Weitere Informationen finden Sie unter Datenprodukte.
Datenverwaltung
Das Cortex Framework verwendet Dataform, um den Lebenszyklus von Daten zu verwalten. Mit Dataform können Sie die Datentransformation für die Datenintegration verwalten. Der Dienst bietet Datenanalysten die Möglichkeit, komplexe Workflows für die Datentransformation in BigQuery zu entwickeln, zu testen, zu versionieren und zu planen. Um sich dynamisch an Anpassungen und Erweiterungen anzupassen, erstellt das Cortex Framework den Dataform-Code während der Build-Phase und stellt ihn im Dataform-Repository bereit in Google Cloud.
Wenn Sie die Ausführung der Pipelines in der Dataform-UI auslösen, werden die BigQuery-Tabellen und ‑Ansichten der Datengrundlage- und Datenproduktschichten erstellt und mit Daten gefüllt.
Nächste Schritte
Bereit zum Erstellen und Bereitstellen? In den folgenden Leitfäden erfahren Sie, wie Sie Ihre Umgebung einrichten:
- Demobereitstellung: Stellen Sie den Inhalt der Beispiellösung in wenigen Minuten bereit, um das Cortex Framework in Aktion zu sehen.
- Bereitstellung: Folgen Sie der Schritt-für-Schritt-Anleitung, um das Cortex Framework für Ihre Unternehmensdaten zu konfigurieren und bereitzustellen.