Bereitstellung

Auf dieser Seite finden Sie eine Anleitung zu den Bereitstellungsschritten für Cortex Framework für Ihre Unternehmensdaten.

Hinweis

Prüfen Sie, ob Sie die auf der Seite Voraussetzungen beschriebenen Voraussetzungen erfüllen, bevor Sie mit der Bereitstellung fortfahren.

Vor der Bereitstellung von Cortex Framework müssen relevante SAP ERP-Tabellen in BigQuery repliziert werden. Weitere Informationen finden Sie auf der Seite SAP ERP-Datenquelle.

Bereitstellung

Nachdem Sie die Umgebung vorbereitet haben, können Sie die Bereitstellung ausführen. Verwenden Sie die uv-Scripts des Cortex Framework, um Ihre Daten-Assets zu erstellen und in Ihr Google Cloud -Projekt zu übertragen. So wandeln Sie Ihre lokalen Konfigurationen in eine aktive, skalierbare Datenarchitektur um.

Konfiguration

Vor der Bereitstellung werden die Datenfundament- und Datenproduktebenen über einen zentralen Konfiguration-als-Code-Ansatz konfiguriert. Cortex Framework verwendet eine config/config.yaml-Datei, um das Cortex Framework-Deployment zu konfigurieren. Diese Datei enthält die wesentliche Zuordnung zwischen Ihren Quelldaten und der Zielumgebung Google Cloud. Durch die richtige Konfiguration wird sichergestellt, dass das Cortex Framework genau weiß, wo sich Ihre Rohdaten befinden und wo die resultierenden Ebenen materialisiert werden sollen.

Für eine erfolgreiche Bereitstellung des Cortex Framework müssen die folgenden obligatorischen Werte hinzugefügt werden:

  • YOUR_BUILD_PROJECT_ID: Das Projekt, in dem die Bereitstellungs-Orchestrierung und die uv-Skripts ausgeführt werden.
  • YOUR_SOURCE_PROJECT_ID: Das Projekt, das Ihre Rohquelldaten enthält.
  • YOUR_TARGET_PROJECT_ID: Das Zielprojekt, in dem sich die verarbeiteten Datenprodukte und BigQuery-Datasets befinden.
  • YOUR_REPO_PROJECT_ID: Das Projekt, in dem das Dataform-Repository und die Bereitstellungsartefakte gehostet werden.

Ausführliche Informationen zur Konfigurationsdatei finden Sie unter Bereitstellungskonfiguration.

IAM-Rollen konfigurieren

Konfigurieren Sie die erforderlichen IAM-Berechtigungen (Identity and Access Management), um Cortex Framework-Inhalte in den erforderlichen Google Cloud Projekten bereitzustellen.

Rollen für Build-Projekte

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery Data JobUser (roles/bigquery.jobUser) für Ihr Build-Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen des Cortex Framework benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Rollen für das Quellprojekt

Um die Berechtigungen zu erhalten, die Sie zum Bereitstellen des Cortex Framework benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Datenbetrachter (roles/bigquery.dataViewer) für Ihr Quellprojekt zuzuweisen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Rollen für Zielprojekte

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Zielprojekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Bereitstellen des Cortex Framework benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Bereitstellung ausführen

Führen Sie den folgenden Befehl aus, um die Bereitstellung des Cortex Framework auszulösen. Bei diesem Vorgang werden die folgenden Aktionen ausgeführt:

  • Prüfen Sie, ob alle Voraussetzungen erfüllt sind.
  • Stellen Sie eine Verbindung zum Rohdatensatz her und erstellen und kompilieren Sie die .sqlx-Scripts basierend auf den Schemainformationen.
  • Erstellen Sie das Dataform-Repository und den Arbeitsbereich und synchronisieren Sie dann die kompilierten Artefakte mit dem Repository.
uv run cortex-build-and-deploy --config "config/config.yaml"

Befehlszeilen-Optionen

Die uv run-Befehlszeile unterstützt die folgenden Aktionen:

  • uv run cortex-build: Führt die Kompilierung des Dataform-Arbeitsbereichs aus und übersetzt YAML-Konfigurationen und SQLX-/JS-Vorlagen in bereitstellbare Dataform-Assets. Weitere Informationen finden Sie unter CLI Cortex build.
  • uv run cortex-deploy: Die kompilierten Assets werden in den Dataform-Zielarbeitsbereich übertragen. Weitere Informationen finden Sie unter CLI Cortex deploy.
  • uv run cortex-build-and-deploy: Kombiniert das Kompilieren und Pushen der Build-Assets in den Dataform-Arbeitsbereich. Weitere Informationen finden Sie unter Cortex-Build und -Bereitstellung über die CLI.

Pipeline für Datengrundlage und Datenprodukte ausführen

Nachdem die Bereitstellung abgeschlossen ist, müssen Sie alle Aktionen im Dataform-Repository ausführen. Wenn Sie die Pipeline im Dataform-Arbeitsbereich ausführen, wird die logische Transformation von Rohdaten in strukturierte, KI-fähige Datenprodukte initiiert, die sofort für geschäftliche Zwecke verwendet werden können. Gehen Sie so vor:

  1. Rufen Sie Dataform auf.
  2. Achten Sie darauf, dass Sie sich im richtigen Projekt befinden.
  3. Klicken Sie auf den Namen des erstellten Repositorys.
  4. Klicken Sie auf den Namen des Arbeitsbereichs.
  5. Klicken Sie auf Ausführung starten.
  6. Klicken Sie auf Aktionen ausführen.
  7. Wählen Sie Alle Aktionen aus. Sie können auch die Schritte auswählen, die Sie interessieren.
  8. Klicken Sie auf Ausführung starten.

Prüfen Sie, ob die Bereitstellung erfolgreich war:

  1. Klicken Sie auf Ausführungen.
  2. Prüfen Sie, ob der Status „Erfolgreich abgeschlossen“ lautet.
  3. Klicken Sie auf den Ausführungslink, um weitere Informationen zu erhalten.

Sie können sich jetzt die in dem in der Konfigurationsdatei konfigurierten Dataset bereitgestellten BigQuery-Daten-Assets ansehen. Beispiel: CORTEX_SAP_DATAFOUNDATION und CORTEX_SAP_DATAPRODUCTS.