SAP ERP-Datenquelle

Für die Data Foundation-Ebene des Google Cloud Cortex Framework für SAP ERP ist eine Verbindung zu den Rohdaten des Quellsystems erforderlich. Sowohl SAP ECC als auch SAP S/4HANA werden unterstützt.

Bevor Sie Cortex Framework-Inhalte bereitstellen, müssen relevante SAP ERP-Tabellen in BigQuery repliziert werden. Sie können dies erreichen, indem Sie Daten in einem dedizierten Dataset der Rohdatenebene für die Verarbeitung von Change Data Capture (CDC) ablegen oder etablierte CDC-Pipelines verwenden, um die Data Foundation-Ebene direkt zu speisen. Weitere Informationen finden Sie unter Technische Anforderungen für die Replikation von SAP ERP-Daten.

Sie können ein beliebiges Replikationstool verwenden, sofern damit Daten im Rohdatenformat in BigQuery repliziert werden können.Google Cloud -Lösungen umfassen beispielsweise den BigQuery-Connector für SAP (erfordert SAP SLT) und das BigQuery-Toolkit für SAP.

Damit die replizierten Rohdatensets aus SAP ERP mit der Data Foundation-Ebene des Cortex Framework kompatibel sind, müssen Sie die folgenden Anforderungen erfüllen.

Technische Anforderungen für die Replikation von SAP ERP-Daten

Prüfen und erfüllen Sie die folgenden technischen Anforderungen für die Replikation von SAP-Daten in das Cortex Framework in BigQuery.

  1. Rohdatenstruktur: Daten aus ECC oder S/4HANA sollten in BigQuery mit derselben Struktur wie die Basistabellen in SAP und ohne Geschäftstransformationen eingehen. Tabellen müssen mit den erforderlichen Feldnamen, ‑typen und der erforderlichen Granularität repliziert werden, wie sie in SAP vorhanden sind.

  2. Tabellenkonfiguration: Die Liste der zu transformierenden Tabellen wird in der Datei table_settings.yaml (unter config/cortex/data_foundation/sap) definiert. Wenn bei der Bereitstellung eine erforderliche Tabelle fehlt, schlagen die entsprechenden Datenprodukte fehl.

  3. Metadatenanforderungen: Sie müssen Metadatentabellen wie DD03L aus Ihrer SAP-Quelle in das Rohdatenset replizieren, das als Quelle für Ihr Fundamentmodul in config/config.yaml konfiguriert ist. Diese Metadatentabellen müssen zwar im Rohdatenset vorhanden sein, dürfen aber nicht in der Datei table_settings.yaml für die Datenbasis enthalten sein und werden nicht von der Datenbasisschicht verarbeitet. Achten Sie darauf, dass die replizierte Tabelle DD03L die Feldmetadatensätze für alle Tabellen enthält, die Sie aufnehmen möchten, z. B. benutzerdefinierte oder zusätzliche Tabellen wie sflight. Die Build-Skripts und der Abhängigkeitsresolver des Cortex Framework lesen diese Metadatenzeilen, um Spaltenlisten, Datentypen und Primärschlüsselbeziehungen zwischen Tabellen zu ermitteln.

  4. Schreibweise: Die Namen der replizierten SAP-Tabellen in BigQuery müssen in Kleinbuchstaben angegeben werden, damit sie mit dem Cortex Framework-Datenmodell kompatibel sind. Die SAP-Tabelle MARA wird beispielsweise in BigQuery zu mara.

  5. Objektnamen (Spalten) und Sonderzeichen: Für Objektnamen (Spalten), die Sonderzeichen wie /, - oder führende Unterstriche _ enthalten, erwartet Cortex ein generisches Bereinigungsmuster:

    • Alle nicht alphanumerischen Zeichen werden durch einen Unterstrich _ ersetzt.
    • Führende Unterstriche und Ziffern sind nicht zulässig. Beispiel: /GOOG/TEST wird zu goog_test und _DATAAGING zu dataaging. Wenn Ihr Replikationstool Daten mit führenden Unterstrichen beibehält, ist ein Normalisierungsschritt (Aliasing) in der Data Foundation-Schicht erforderlich.

  6. Felder für die Datenübertragung: Zur Unterstützung von CDC (Change Data Capture) und der Datenübertragung müssen replizierte SAP-Tabellen Folgendes enthalten:

    • Ein Vorgangs-Flag mit dem Namen operation_flag (L = Initial Load, I = Insert, U = Update, D = Delete).
    • Ein Zeitstempel mit dem Namen recordstamp (der zum Zeitpunkt des Ladevorgangs mit dem aktuellen Zeitstempel gefüllt wird).
    • Optional: In replizierten _DS_RAW-Tabellen wird ein zusätzliches Feld is_deleted (BOOLEAN) ausgewählt (bei der ersten Ladung wird standardmäßig „false“ verwendet). Laufzeitansichten, die von Cortex generiert werden, verweisen auf diese Spalte. Sie kann jedoch vor der Ausführung aus den CDC- und Ansichtsvorlagen entfernt werden, wenn das Replikationstool sie nicht erzeugt.

  7. Datentypen: Erforderliche Zuordnung von SAP-Datentypen zu BigQuery-Datentypen zur Gewährleistung der Kompatibilität:

    Für Standardvorgänge erforderlich:

    Datentyp „SAP“ Datentyp BigQuery Beschreibung
    DATS DATE Datentyp „Datum“
    TIMS TIME Datentyp „Zeit“

  8. Für Präzision und Kompatibilität dringend empfohlen:

    • CURR (Währung) und QUAN (Menge) werden NUMERIC oder BIGNUMERIC zugeordnet. Vermeiden Sie FLOAT64, um Rundungsfehler bei Finanzberechnungen zu vermeiden.
    • NUMC (Numerisches Zeichen) wird STRING zugeordnet (um führende Nullen für Dokumentnummern und Artikelnummern beizubehalten und erfolgreiche Joins zu ermöglichen).
    .

  9. Nutzlastkomprimierung: Damit leere SAP-Spalten (Anfangswerte wie Leerzeichen oder Nullen) in BigQuery nicht mit NULL gefüllt werden, muss die Nutzlastkomprimierung in der Connector-Konfiguration deaktiviert sein (oder „Unkomprimiert senden“ aktiviert sein). So wird dafür gesorgt, dass leere Strings oder Nullen im Ziel als solche beibehalten werden, anstatt standardmäßig auf NULL gesetzt zu werden.