Schritt 4: Komponenten einrichten

Auf dieser Seite wird der vierte Schritt zum Bereitstellen von Cortex Framework Data Foundation beschrieben, dem Kern von Cortex Framework. In diesem Schritt richten Sie die erforderlichen Google Cloud Dienste für die Bereitstellung ein.

Hinweis: Die auf dieser Seite beschriebenen Schritte sind speziell für die Bereitstellung von Cortex Framework Data Foundation aus dem offiziellen GitHub-Repository konzipiert.

Dienste aktivieren Google Cloud

In diesem Abschnitt aktivieren Sie die folgenden Google Cloud Dienste in Ihrem Google Cloud Projekt:

• BigQuery-Instanz und -Datasets
• Cloud Build API
• Cloud Storage-Buckets
• Dienstkonto
• Cloud Resource Manager API
• Workflowausführungen (bei der Bereitstellung von Cortex für Meridian)
• AI Platform (bei der Bereitstellung von Cortex für Meridian)

Aktivieren Sie diese Google Cloud Dienste mit Cloud Shell:

1. Fügen Sie folgenden Befehl ein:

   gcloud config set project SOURCE_PROJECT
   
   gcloud services enable bigquery.googleapis.com \
                         cloudbuild.googleapis.com \
                         composer.googleapis.com \
                         storage-component.googleapis.com \
                         cloudresourcemanager.googleapis.com \
                         dataflow.googleapis.com \
                         datacatalog.googleapis.com \
                         workflowexecutions.googleapis.com \
                         workflows.googleapis.com \
                         aiplatform.googleapis.com
   

   Ersetzen Sie SOURCE_PROJECT durch die ID Ihres Quellprojekts.

   Hinweis: workflowexecutions.googleapis.com, workflows.googleapis.com und aiplatform.googleapis.com werden nur mit Cortex Framework für Meridian benötigt.

2. Prüfen Sie, ob die Google Cloud Dienste aktiviert sind, wenn Sie eine Erfolgs meldung erhalten.

Optional : Sie können die folgenden Google Cloud Dienste in Ihrem Google Cloud Projekt aktivieren:

• Cloud Composer für die Verarbeitung von Change Data Capture (CDC), das Reduzieren der Hierarchie (nur SAP) und die Datenreplikation (nur Nicht-SAP) über gerichtete azyklische Graphen (DAGs) Informationen zum Einrichten einer Instanz finden Sie in der Cloud Composer-Dokumentation.
• Looker zum Herstellen einer Verbindung zu Berichtsvorlagen
• Für einige externe Quellen wie den Wetter DAG werden verknüpfte Datasets aus BigQuery Sharing (früher Analytics Hub) verwendet. Für erweiterte Szenarien können Sie diese Struktur mit einer beliebigen anderen verfügbaren Quelle Ihrer Wahl füllen.
• Dataflow: Integrationstool für viele Marketing-Datasets wie Google Ads.
• Für Cortex Framework mit Meridian:
  • Colab Enterprise: Ausführen des Colab Enterprise-Notebooks während der Ausführung mit Zugriff auf Folgendes:
  • Das Notebook und die Konfigurationsdatei in Cloud Storage.
  • Relevante BigQuery-Ansichten und -Tabellen abfragen.
  • Ergebnisse zurück in Cloud Storage schreiben.
  • Workflows: Workflow und Cloud Build ausführen, um Colab Enterprise-Notebook-Ausführungen auszulösen.

Cloud Build-Dienstkonto erstellen und konfigurieren

Cloud Build verwendet ein Dienstkonto, um Builds für Sie auszuführen. In diesem Abschnitt erfahren Sie, wie Sie ein dediziertes Dienstkonto für Cortex Framework-Bereitstellungen erstellen und dem Cloud Build-Dienstkonto die erforderlichen Berechtigungen gewähren.

Hinweis: Wir haben Änderungen am Standarddienstkonto vorgenommen, das zum Ausführen von Builds verwendet wird. Als Best Practice empfehlen wir, dass Sie Ihr eigenes Dienstkonto angeben, um Ihre Builds für Cortex Framework auszuführen. Weitere Informationen finden Sie unter Änderung des Cloud Build-Standarddienstkontos.

Neues Dienstkonto erstellen

Erstellen Sie ein dediziertes Dienstkonto für die Bereitstellung von Cortex Framework, um die Sicherheit und Kontrolle zu verbessern. Nachdem Sie das neue Dienstkonto erstellt haben können Sie es während der Bereitstellung mit dem Dienstkonto mit dem _BUILD_ACCOUNT Ersetzungsparameter angeben.

Erstellen Sie dieses neue Dienstkonto entweder mit der Google Cloud Console oder der Google Cloud CLI.

Console

1. Rufen Sie die Seite Dienstkonten auf.

   Dienstkonten

   Die verbleibenden Schritte werden in der Google Cloud Console angezeigt.

2. Wählen Sie ein Google Cloud Projekt aus.

3. Geben Sie ein Dienstkonto und einen Anzeigenamen mit einer Beschreibung in der Google Cloud Console ein. Die Google Cloud Console generiert anhand dieses Namens eine Dienstkonto-ID. Bearbeiten Sie gegebenenfalls die ID. Sie können die ID später nicht mehr ändern. Verwenden Sie die folgenden Standardwerte für das Dienstkonto:

   • Name: „cortex-deployer“.
   • Beschreibung: "Cortex Deployer Service Account".
   • Anzeigename: "Cortex Deployer".

4. Gewähren Sie Nutzern Zugriff auf dieses Dienstkonto.

   1. Fügen Sie die ID aller Nutzer (einschließlich Ihrer eigenen) hinzu, die die Bereitstellung über das Dienstkonto ausführen können.
   2. Weisen Sie die Rolle Ersteller von Dienstkonto-Tokens zu. Weitere Informationen zu dieser Rolle finden Sie unter Dienstkontenrollen.

5. Klicken Sie auf Fertig , um das Erstellen des Dienstkontos abzuschließen.

Wenn Sie bereits ein Dienstkonto haben, führen Sie die folgenden Schritte aus:

1. Rufen Sie die Seite Dienstkonten auf.
2. Wählen Sie das Dienstkonto aus.
3. Klicken Sie auf den Tab Hauptkonten mit Zugriff.
4. Klicken Sie auf Zugriff gewähren.
   1. Fügen Sie die ID aller Nutzer (einschließlich Ihrer eigenen) hinzu, die die Bereitstellung über das Dienstkonto ausführen können.
   2. Weisen Sie die Rolle Ersteller von Dienstkonto-Tokens zu.

gcloud

1. Erstellen Sie mit dem folgenden Befehl ein Dienstkonto über eine IAM-Richtlinie:

   gcloud iam service-accounts create cortex-deployer \
   --description="Cortex Deployer Service Account" \
   --display-name="Cortex Deployer"
   

2. Fügen Sie die IAM-Richtlinie mit dem folgenden Befehl Ihrem Google Cloud Projekt hinzu:

   gcloud projects add-iam-policy-binding SOURCE_PROJECT \
   --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
   --role="roles/cloudbuild.builds.editor"
   

3. Fügen Sie die ID aller Nutzer (einschließlich Ihrer eigenen) hinzu, die die Bereitstellung über das Dienstkonto ausführen können, und weisen Sie ihnen mit dem folgenden Befehl die Rolle Ersteller von Dienstkonto-Tokens zu:

   gcloud iam service-accounts add-iam-policy-binding cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com \
   --member="user:USER_EMAIL" \
   --role="roles/iam.serviceAccountTokenCreator"
   

   Ersetzen Sie Folgendes:

   • SOURCE_PROJECT durch das Quellprojekt für die Bereitstellung von Cortex Framework Data Foundation.
   • USER_EMAIL durch die E-Mail-Adresse des ausführenden Nutzers.

Weitere Informationen zum Erstellen eines neuen Dienstkontos finden Sie unter Dienstkonto erstellen.

Berechtigungen erteilen

Das Cloud Build-Dienstkonto benötigt bestimmte Berechtigungen in Ihrem Quellprojekt (und im Zielprojekt, wenn Sie in einem separaten Projekt bereitstellen). Gewähren Sie die folgenden Rollen entweder mit der Google Cloud Console oder der Google Cloud CLI:

• Cloud Build-Dienstkonto (roles/cloudbuild.builds.builder)
• Dienstkontonutzer (roles/iam.serviceAccountUser)
• BigQuery-Dateneditor (roles/bigquery.dataEditor)
• BigQuery-Jobnutzer (roles/bigquery.jobUser)
• Log-Autor (roles/logging.logWriter)
• Colab Enterprise-Administrator (roles/aiplatform.colabEnterpriseAdmin - bei der Bereitstellung von Cortex für Meridian)
• Storage Object User (roles/storage.objectUser - bei der Bereitstellung von Cortex für Meridian)

• Workflow-Bearbeiter (roles/workflows.editor - bei der Bereitstellung von Cortex für Meridian)

Console

1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

   IAM aufrufen

2. Wählen Sie Ihr Quellprojekt aus.

3. Klicken Sie auf „“ Zugriff gewähren.

4. Fügen Sie das Standard-Cloud Build-Dienstkonto aus dem vorherigen Schritt als neues Hauptkonto hinzu.

5. Suchen Sie im Drop-down-Menü Rolle auswählen nach Cloud Build-Dienstkonto, und klicken Sie dann auf Cloud Build-Dienstkonto.

6. Wiederholen Sie den vorherigen Schritt, um die restlichen Rollen hinzuzufügen:

   • Dienstkontonutzer
   • BigQuery-Dateneditor
   • BigQuery-Jobnutzer
   • Log-Autor
   • _Colab Enterprise-Administrator_ (bei der Bereitstellung von Cortex für Meridian)
   • Storage Object User (bei der Bereitstellung von Cortex für Meridian)
   • Workflow-Bearbeiter (bei der Bereitstellung von Cortex für Meridian)

7. Klicken Sie auf Speichern.

8. Prüfen Sie, ob das Dienstkonto und die entsprechenden Rollen auf der IAM-Seite aufgeführt sind. Sie haben erfolgreich eine IAM-Rolle zugewiesen.

gcloud

Verwenden Sie den folgenden Befehl, um dem Cloud Build Dienstkonto die Rollen zuzuweisen:

  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/cloudbuild.builds.builder"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/iam.serviceAccountUser"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/bigquery.dataEditor"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/bigquery.jobUser"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/logging.logWriter"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/aiplatform.colabEnterpriseAdmin"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/storage.objectUser"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
      --role="roles/workflows.editor"

Ersetzen Sie Folgendes:

• SOURCE_PROJECT durch die ID des Quellprojekts.
• CLOUD_BUILD_SA durch das Cloud Build Dienstkonto im Format CLOUD_BUILD_SA@SOURCE_PROJECT.gserviceaccount.com.

Weitere Informationen finden Sie unter Dem Cloud Build-Dienstkonto eine Rolle über die IAM-Seite zuweisen und IAM-Richtlinien für Buckets festlegen und verwalten.

Zusätzliches Dienstkonto für Cortex für Meridian erstellen

Für Meridian ist ein separates Dienstkonto erforderlich, wenn Sie Cortex Framework bereitstellen. Wenn Sie keine Bereitstellung für Meridian vornehmen, können Sie diesen Schritt überspringen. Für Folgendes ist ein separates Dienstkonto erforderlich:

• Workflow und Cloud Build ausführen, um Colab Enterprise-Notebook-Ausführungen auszulösen.
• Colab Enterprise-Notebook mit Zugriff auf Folgendes ausführen:
  • Notebook und Konfigurationsdatei in Cloud Storage.
  • Relevante BigQuery-Ansichten und -Tabellen abfragen.
  • Ergebnisse zurück in Cloud Storage schreiben.

Verwenden Sie den folgenden Befehl, um ein Dienstkonto für Cortex für Meridian zu erstellen:

 gcloud iam service-accounts create cortex-meridian-colab-runner --project=SOURCE_PROJECT \
        --description="Cortex for Meridian Colab Runner Service Account" \
        --display-name="Cortex Meridian Runner"

Ersetzen Sie Folgendes:

• SOURCE_PROJECT durch die Projekt-ID, unter der Cortex für Meridian bereitgestellt wird.
• cortex-meridian-colab-runner: Optional können Sie eine andere Dienstkonto-ID verwenden. Beachten Sie, dass cortex-meridian-colab-runner die Standardeinstellung ist und das Ändern möglicherweise Anpassungen an anderen Befehlen erfordert.

Die mindestens erforderlichen Rollen für ein dediziertes Dienstkonto für Cortex für Meridian sind die folgenden:

• BigQuery-Datenbetrachter (roles/bigquery.dataViewer)
• BigQuery-Jobnutzer (roles/bigquery.jobUser)
• BigQuery Read Session-Nutzer (roles/bigquery.readSessionUser)
• Cloud-Build-Bearbeiter (roles/cloudbuild.builds.editor)
• Colab Enterprise-Administrator (roles/aiplatform.colabEnterpriseAdmin)
• Log-Autor (roles/logging.logWriter)
• Notebook Runtime Admin (aiplatform.notebookRuntimeAdmin)
• Storage-Administrator (roles/storage.admin)
• Storage Object User (roles/storage.objectUser)
• Vertex AI Colab Service Agent (roles/aiplatform.colabServiceAgent)

Verwenden Sie den folgenden Befehl, um dem dedizierten Dienstkonto für Cortex für Meridian die Rollen zuzuweisen:

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/bigquery.dataViewer'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/bigquery.jobUser'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/bigquery.readSessionUser'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/cloudbuild.builds.editor'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/aiplatform.colabEnterpriseAdmin'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/logging.logWriter'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/aiplatform.notebookRuntimeAdmin'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/storage.admin'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/storage.objectUser'

gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="serviceAccount:cortex-meridian-colab-runner@SOURCE_PROJECT.iam.gserviceaccount.com" \
    --role='roles/aiplatform.colabServiceAgent'

Ersetzen Sie Folgendes:

• SOURCE_PROJECT durch die Projekt-ID, unter der Cortex für Meridian bereitgestellt wird.
• cortex-meridian-colab-runner durch Ihr Dienstkonto für Cortex für Meridian.

Storage-Bucket zum Speichern von DAG-bezogenen Dateien erstellen

Ein Storage-Bucket ist erforderlich, um DAG-Skripts für die Verarbeitung und andere temporäre Dateien zu speichern, die während der Bereitstellung generiert werden. Diese Skripts müssen nach der Bereitstellung manuell in eine Cloud Composer- oder Apache Airflow-Instanz verschoben werden.

Sie können den Storage-Bucket mit den folgenden Schritten über die Google Cloud CLI oder die Google Cloud Console erstellen.

Console

1. Rufen Sie Cloud Storage auf.

   Cloud Storage

2. Erstellen Sie einen Bucket in derselben Region wie Ihre BigQuery-Datasets.

3. Wählen Sie den erstellten Bucket aus.

4. Rufen Sie den Tab Permissions auf.

5. Gewähren Sie die Berechtigung Storage Object Creator für die Nutzer-ID, die den Build-Befehl ausführt, oder für das von Ihnen erstellte Dienstkonto. Weitere Informationen finden Sie unter Neue Bedingung für einen Bucket festlegen: Console.

gcloud

1. Erstellen Sie mit dem folgenden Befehl einen Bucket in Cloud Shell:

   gcloud storage buckets create gs://COMPOSER_DAG_BUCKET -l REGION/MULTI_REGION
   

   Ersetzen Sie Folgendes:

   • COMPOSER_DAG_BUCKET durch den Namen für den neuen Bucket.
   • REGION/MULTI_REGION durch dieselbe Region wie Ihre BigQuery-Datasets.

2. Verwenden Sie den folgenden Befehl, um dem Dienstkonto die Berechtigung Storage Object Creator zuzuweisen:

   gcloud storage buckets add-iam-policy-binding gs://COMPOSER_DAG_BUCKET \
       --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
       --role=roles/storage.objectCreator
   

   Ersetzen Sie Folgendes:

   • cortex-deployer durch das Cloud Build-Dienstkonto.
   • COMPOSER_DAG_BUCKET durch den Namen für den neuen Bucket.

Storage-Bucket für Logs erstellen

Sie können einen bestimmten Bucket für den Cloud Build-Prozess erstellen, um die Logs zu speichern. Dies ist nützlich, wenn Sie Daten, die in Logs gespeichert werden können, auf eine bestimmte Region beschränken möchten. Sie können den Storage Bucket für Logs über die Google Cloud CLI oder die Google Cloud Console erstellen.

Console

So erstellen Sie einen bestimmten Bucket für die Logs:

1. Rufen Sie Cloud Storage auf.

   Cloud Storage

2. Erstellen Sie einen Bucket in derselben Region, in der die Bereitstellung ausgeführt wird.

3. Wählen Sie den erstellten Bucket aus.

4. Rufen Sie den Tab Permissions auf.

5. Gewähren Sie die Berechtigung Storage Object Admin für die Nutzer-ID, die den Build-Befehl ausführt, oder für das Dienstkonto, das Sie erstellt haben. Weitere Informationen finden Sie unter Neue Bedingung für einen Bucket festlegen: Console.

gcloud

Verwenden Sie die folgenden Befehle, um einen bestimmten Bucket für die Logs zu erstellen.

1. Erstellen Sie mit dem folgenden Befehl einen Bucket in Cloud Shell:

   gcloud storage buckets create gs://LOGS_BUCKET_NAME -l REGION/MULTI_REGION
   

   Ersetzen Sie Folgendes:

   • REGION/MULTI_REGION durch die ausgewählte Region, in der der Bucket erstellt werden soll.
   • LOGS_BUCKET_NAME durch den Namen für den neuen Bucket.

2. Verwenden Sie den folgenden Befehl, um dem Dienstkonto die Berechtigung Storage Object Admin zuzuweisen:

   gcloud storage buckets add-iam-policy-binding gs://LOGS_BUCKET_NAME \
       --member="serviceAccount:cortex-deployer@SOURCE_PROJECT.iam.gserviceaccount.com" \
       --role=roles/storage.objectAdmin
   

   Ersetzen Sie Folgendes:

   • cortex-deployer durch das Standard-Cloud Build-Dienstkonto.
   • LOGS_BUCKET_NAME durch den Namen für den neuen Bucket.

Nächste Schritte

Nachdem Sie diesen Schritt abgeschlossen haben, fahren Sie mit den folgenden Bereitstellungsschritten fort:

1. Arbeitslasten einrichten.
2. Repository klonen.
3. Integrationsmechanismus festlegen.
4. Komponenten einrichten (diese Seite)
5. Bereitstellung konfigurieren.
6. Bereitstellung ausführen.