Bereitstellungsanleitung

Auf dieser Seite werden Sie durch die Schritte zur Bereitstellung des Cortex Framework für Produktionspfad-Bereitstellungen geführt.

Hinweis

Prüfen Sie, ob Sie die Voraussetzungen auf der Voraussetzungen Seite erfüllt haben, bevor Sie mit der Bereitstellung fortfahren.

Wählen Sie vor der Bereitstellung des Cortex Framework die Quellsystemintegration aus und bereiten Sie sie vor.

IAM-Rollen konfigurieren

Konfigurieren Sie die erforderlichen IAM-Berechtigungen (Identity and Access Management), um Cortex Framework Inhalte in den erforderlichen Google Cloud Projekten bereitzustellen.

Rollen für das Build-Projekt

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery Data JobUser (roles/bigquery.jobUser) für Ihr Build-Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen des Cortex Framework benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Verwenden Sie das folgende Skript, um einem Nutzer die angeforderten Rollen zuzuweisen:

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

Rollen für das Quellprojekt

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery Data Viewer (roles/bigquery.dataViewer) für Ihr Quellprojekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Bereitstellen des Cortex Framework benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten. 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

Rollen für Zielprojekte

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Zielprojekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Bereitstellen des Cortex Framework benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Verwenden Sie das folgende Skript, um einem Nutzer die angeforderten Rollen zuzuweisen:

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

Konfiguration der Bereitstellung

Vor der Bereitstellung werden die Datenfundament- und Datenproduktebenen über einen zentralen Konfiguration-als-Code-Ansatz konfiguriert. Das Cortex Framework verwendet eine config/config.yaml-Datei, um die Bereitstellung des Cortex Framework zu konfigurieren. Wir empfehlen, eine Kopie von config/config.yaml.example als Start zu verwenden. Diese Datei enthält die wesentliche Zuordnung zwischen Ihren Quelldaten und der Ziel Google Cloud umgebung. Durch die richtige Konfiguration wird sichergestellt, dass das Cortex Framework genau weiß, wo sich Ihre Rohdaten befinden und wo die resultierenden Ebenen materialisiert werden sollen.

Für eine erfolgreiche Bereitstellung des Cortex Framework müssen die folgenden Pflichtwerte hinzugefügt werden:

  • YOUR_BUILD_PROJECT_ID: Das Projekt, in dem die Bereitstellungsorchestrierung und die uv-Skripts ausgeführt werden.
  • YOUR_SOURCE_PROJECT_ID: Das Projekt, das Ihre Rohquelldaten enthält.
  • YOUR_TARGET_PROJECT_ID: Das Zielprojekt, in dem sich die verarbeiteten Datenprodukte und BigQuery-Datasets befinden.
  • YOUR_REPO_PROJECT_ID: Das Projekt, in dem das Dataform-Repository und die Bereitstellungsartefakte gehostet werden.

Ausführliche Informationen zur Konfigurationsdatei finden Sie unter Konfiguration der Bereitstellung.

Bereitstellung ausführen

Führen Sie den folgenden Befehl aus, um die Bereitstellung des Cortex Framework auszulösen. Bei diesem Vorgang werden die folgenden Aktionen ausgeführt:

  • Prüfen, ob alle Voraussetzungen erfüllt sind.
  • Verbindung zum Roh-Dataset herstellen und anhand der Schemainformationen die .sqlx-Skripts erstellen und kompilieren.
  • Das Dataform-Repository und den Arbeitsbereich erstellen und dann die kompilierten Artefakte mit dem Repository synchronisieren.
uv run cortex-build-and-deploy --config config/config.yaml

Befehlszeilenparameter für `uv run cortex-build-and-deploy`: Optional können Sie eine Liste der möglichen Parameter anzeigen lassen, die vom Skript „cortex-demo“ unterstützt werden. Führen Sie dazu den uv run cortex-build-and-deploy -h aus. Weitere Informationen finden Sie unter Befehlszeilenbefehl `uv run cortex-build-and-deploy` für das Cortex Framework.

Befehlszeilen-Optionen

Die Befehlszeilenschnittstelle (uv run) unterstützt die folgenden Aktionen:

Nächste Schritte