Schritte nach der Bereitstellung

Auf dieser Seite werden die Schritte nach der Bereitstellung von Cortex Framework beschrieben, mit denen Sie Ihre Datenpipelines ausführen und die Ergebnisse überprüfen können.

Nachdem Sie die Bereitstellung ausgeführt haben, werden alle Transformationsvorlagen und -konfigurationen kompiliert und in Ihrem Dataform-Zielrepository bereitgestellt. Damit die Tabellen und Ansichten in BigQuery materialisiert werden, müssen Sie jedoch zuerst die Dataform-Pipelineaktionen ausführen.

Transformationen in Dataform ausführen

Durch die Ausführung der Pipeline wird die logische Transformation von Rohdaten in standardisierte, KI-bereite Datenfundierungsebenen und Datenprodukte initiiert, die sofort für geschäftliche Zwecke verwendet werden können.

Sie können Aktionen zur Überprüfung manuell in der Google Cloud Konsole ausführen oder wiederkehrende Zeitpläne für die Produktion konfigurieren.

Manuelle Ausführung zur Bestätigung

So führen Sie eine manuelle Überprüfung der gesamten Pipeline in Ihrem Dataform-Arbeitsbereich aus:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.
  2. Prüfen Sie, ob Sie im Drop-down-Menü des Projekts das richtige Google Cloud Projekt ausgewählt haben.
  3. Klicken Sie auf den Namen des Repositorys, das während der Bereitstellung erstellt wurde (z.B. cortex).
  4. Klicken Sie auf den Namen des Arbeitsbereichs, z.B. cortex.
  5. Klicken Sie auf Ausführung starten.
  6. Klicken Sie auf Aktionen ausführen.
  7. Wählen Sie Alle Aktionen aus. Sie können auch wichtige Teilmengen von Transformationen auswählen, indem Sie bestimmte Tags oder Aktionen auswählen.
  8. Klicken Sie auf Ausführung starten.

Erfolgreiche Ausführung prüfen

So überwachen Sie den Fortschritt und prüfen, ob die Pipeline erfolgreich abgeschlossen wurde:

  1. Klicken Sie auf den Tab Ausführungen, um den Ausführungsverlauf aufzurufen.
  2. Prüfen Sie, ob der Status Erfolgreich abgeschlossen lautet.
  3. Klicken Sie auf den Link für den Ausführungsdurchlauf, um Details zu bestimmten Aktionen, Kompilierungsfehlern oder Ausführungszeiten aufzurufen.

Daten-Assets in BigQuery ansehen

Nachdem Ihre Dataform-Pipeline erfolgreich ausgeführt wurde, können Sie die generierten Datasets und die materialisierten Tabellen in BigQuery überprüfen.

  1. Rufen Sie in der Google Cloud Console BigQuery auf.
  2. Suchen Sie in Ihrer config.yaml-Datei nach den konfigurierten Zieldatasets, z.B. dem Dataset, das durch datasetId im data.targets-Eintrag angegeben wird, auf den im dataTargetId des Moduls verwiesen wird. In den Vorlagenkonfigurationen kann dies beispielsweise so aussehen:
    • Data Foundation Layer: Suchen Sie nach dem Dataset, das Ihrer Foundation-Ziel-ID entspricht (standardmäßig als cortex7_sap_data_foundation konfiguriert).
    • Data Products-Ebene: Suchen Sie nach dem Dataset, das mit Ihrer Produktziel-ID übereinstimmt (standardmäßig als cortex7_data_products konfiguriert).
  3. Sehen Sie sich die Tabellen in der Vorschau an und führen Sie Beispielabfragen aus, um zu prüfen, ob sie die erwarteten Datensätze enthalten.

Nächste Schritte

Nachdem Ihre Datensysteme betriebsbereit sind, können Sie Folgendes untersuchen: