Schritte nach der Bereitstellung

Auf dieser Seite werden die Schritte nach der Bereitstellung von Cortex Framework beschrieben, mit denen Sie Ihre Datenpipelines ausführen und die Ergebnisse prüfen können.

Nach der Bereitstellung werden alle Transformationsvorlagen und -konfigurationen kompiliert und in Ihrem Dataform-Zielrepository bereitgestellt. Um die Tabellen und Ansichten in BigQuery zu materialisieren, müssen Sie jedoch zuerst die Dataform-Pipelineaktionen ausführen.

Transformationen in Dataform ausführen

Durch Ausführen der Pipeline wird die Logik initiiert, mit der Rohdaten in die relevanten Datenbasis- und Datenproduktebenen umgewandelt werden, die sofort für die geschäftliche Nutzung bereit sind.

Sie können Aktionen zur Überprüfung manuell in der Google Cloud Console ausführen oder wiederkehrende Zeitpläne für die Produktion konfigurieren.

Manuelle Ausführung zur Überprüfung

So führen Sie eine manuelle Überprüfung der gesamten Pipeline in Ihrem Dataform-Arbeitsbereich aus:

  1. Rufen Sie in der Google Cloud Console die Dataform Seite auf.
  2. Prüfen Sie, ob Sie im Drop-down-Menü das richtige Google Cloud Projekt ausgewählt haben.
  3. Klicken Sie auf den Namen des Repositorys, das während der Bereitstellung erstellt wurde (z.B. cortex).
  4. Klicken Sie auf den Namen des Arbeitsbereichs (z.B. cortex).
  5. Klicken Sie auf Ausführung starten.
  6. Klicken Sie auf Aktionen ausführen.
  7. Wählen Sie Alle Aktionen aus. Sie können auch wichtige Teilmengen von Transformationen auswählen, indem Sie bestimmte Tags oder Aktionen auswählen.
  8. Klicken Sie auf Ausführung starten.

Ausführungserfolg prüfen

So prüfen Sie den Fortschritt und ob die Pipeline erfolgreich abgeschlossen wurde:

  1. Klicken Sie auf den Tab Ausführungen , um den Ausführungsverlauf aufzurufen.
  2. Prüfen Sie, ob der Status Erfolgreich abgeschlossen lautet.
  3. Klicken Sie auf den Link zur Ausführung, um Details zu bestimmten Aktionen, Kompilierungsfehlern oder Ausführungszeiten aufzurufen.

Daten-Assets in BigQuery prüfen

Nachdem Ihre Dataform-Pipeline erfolgreich ausgeführt wurde, prüfen Sie die generierten Datasets und sehen Sie sich die materialisierten Tabellen in BigQuery an.

  1. Öffnen Sie BigQuery in der Google Cloud Console.
  2. Suchen Sie die in der Datei config.yaml konfigurierten Ziel-Datasets (z.B. das Dataset, das durch datasetId im Eintrag data.targets identifiziert wird, auf das von der dataTargetId des Moduls verwiesen wird). In den Vorlagenkonfigurationen können dies beispielsweise folgende sein:
    • Datenbasisebene: Suchen Sie nach dem Dataset, das mit Ihrer Ziel-ID für die Datenbasis übereinstimmt (standardmäßig als cortex7_sap_data_foundation konfiguriert).
    • Datenproduktebene: Suchen Sie nach dem Dataset, das mit Ihrer Ziel-ID für das Produkt übereinstimmt (standardmäßig als cortex7_data_products konfiguriert).
  3. Sehen Sie sich eine Vorschau der Tabellen an und führen Sie Beispielabfragen aus, um zu prüfen, ob sie die erwarteten Datensätze enthalten.

Nächste Schritte

Nachdem Ihre Datensysteme betriebsbereit sind, können Sie Folgendes tun:

  • Datenprodukte in Knowledge Catalog registrieren: In der Dokumentation zur Knowledge Catalog-Integration] (/cortex/docs/knowledge-catalog) erfahren Sie, wie Sie den Registrierungsprozess automatisieren.
  • Datenmodell erweitern: Im Leitfaden zur Erweiterbarkeit erfahren Sie, wie Sie Schemas anpassen oder neue Module instanziieren.
  • Neue Datenprodukte erstellen oder anpassen: In der Dokumentation zu Agent-Skills für die Erstellung von Datenprodukten finden Sie Informationen zu den ersten Schritten.