SAP BW Open Hub Batch Source

In dieser Anleitung wird beschrieben, wie Sie Datenpipelines bereitstellen, konfigurieren und ausführen, die das SAP BW Open Hub Batch Source-Plug-in verwenden. Sie können SAP als Quelle für die Batch- und Deltabasierte Datenextraktion in Cloud Data Fusion über den BW Open Hub Service verwenden.

Dieses Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen mit Cloud Data Fusion. Sie können Bulk-Datenübertragungen aus SAP-DataSources ohne Codierung konfigurieren und ausführen.

Informationen zu unterstützten SAP-Anwendungen und -Objekten für die Extraktion finden Sie unter Supportdetails. Weitere Informationen zum Ausführen von SAP auf Google Cloudfinden Sie unter Übersicht über SAP auf Google Cloud.

Ziele

  • Konfigurieren Sie das SAP BW-System.
  • Stellen Sie das Plug-in in Ihrer Cloud Data Fusion-Umgebung bereit.
  • Laden Sie den SAP-Transport aus Cloud Data Fusion herunter und installieren Sie ihn in SAP.
  • Verwenden Sie Cloud Data Fusion und SAP BW Open Hub Batch Source, um Datenpipelines für die Integration von SAP-Daten zu erstellen.

Hinweis

Für die Verwendung dieses Plug-ins benötigen Sie Domainkenntnisse in folgenden Bereichen:

  • Pipelines in Cloud Data Fusion erstellen
  • SAP BW- oder BW4HANA-Systeme konfigurieren

Nutzerrollen

Die Aufgaben auf dieser Seite werden von Personen mit den folgenden Rollen in Google Cloud oder in ihrem SAP-System ausgeführt:

Nutzertyp Beschreibung
Google Cloud-Administrator Nutzer, denen diese Rolle zugewiesen wurde, sind Administratoren von Google Cloud-Konten.
Cloud Data Fusion-Nutzer Nutzer, denen diese Rolle zugewiesen wurde, sind berechtigt, Datenpipelines zu entwerfen und auszuführen. Ihnen wird mindestens die Rolle „Data Fusion-Betrachter“ ( roles/datafusion.viewer) zugewiesen. Wenn Sie die rollenbasierte Zugriffssteuerung verwenden, benötigen Sie möglicherweise zusätzliche Rollen.
SAP-Administrator Nutzer, denen diese Rolle zugewiesen wurde, sind Administratoren des SAP-Systems. Sie haben Zugriff auf den Download von Software von der SAP-Dienstwebsite. Dies ist keine IAM-Rolle.
SAP-Nutzer Nutzer, denen diese Rolle zugewiesen wurde, sind berechtigt, eine Verbindung zu einem SAP-System herzustellen. Dies ist keine IAM-Rolle.

Voraussetzungen für SAP BW

Sie benötigen SAP HANA Studio, um Datenübertragungsprozesse und Prozessketten zu erstellen und zu bearbeiten.

Voraussetzungen für Cloud Data Fusion

  • Für die Erstellung einer Cloud Data Fusion-Instanz ist ein VPC-Netzwerk erforderlich.
  • Sie benötigen eine Cloud Data Fusion-Instanz in Version 6.8.0 oder höher.
  • Dem Dienstkonto, das der Cloud Data Fusion-Instanz zugewiesen ist, müssen die erforderlichen Rollen zugewiesen werden. Weitere Informationen finden Sie unter Berechtigungen für Dienstkontonutzer erteilen.
  • Sie müssen eine Peering-Verbindung zwischen Ihrer VPC und dem freigegebenen VPC-Netzwerk von Google verwenden.

SAP BW-System konfigurieren

Die SAP BW Open Hub Batch Source verwendet ein Remote Function Module (RFM), das auf jedem SAP-Server installiert werden muss, auf dem Daten extrahiert werden. Dieses RFM wird als SAP-Transport bereitgestellt.

So konfigurieren Sie Ihr SAP-System:

  1. Der Cloud Data Fusion-Nutzer muss die ZIP-Datei, die den SAP-Transport enthält, herunterladen und für den SAP-Administrator bereitstellen. Weitere Informationen finden Sie unter Cloud Data Fusion einrichten.
  2. Der SAP-Administrator muss den SAP-Transport in das SAP-System importieren und die erstellten Objekte prüfen. Weitere Informationen finden Sie unter SAP-Transport installieren.
  3. Optional: Der SAP-Nutzer kann die SAP-Standardautorisierungsobjekte der bereitgestellten Rolle /GOOG/BWOH_CDF_AUTH gemäß den Sicherheitsrichtlinien seiner Organisation ändern.

SAP-Transportdateien installieren

Zum Entwerfen und Ausführen von Datenpipelines in Cloud Data Fusion werden die SAP-Komponenten in SAP-Transportdateien bereitgestellt, die in einer ZIP-Datei archiviert sind. Der Download ist verfügbar, wenn Sie das Plug-in im Cloud Data Fusion Hub bereitstellen.

So installieren Sie den SAP-Transport:

Schritt 1: Transportanfragedateien hochladen

  1. Melden Sie sich im Betriebssystem der SAP-Instanz an.
  2. Verwenden Sie den SAP-Transaktionscode AL11, um den Pfad für den Ordner DIR_TRANS abzurufen. Normalerweise ist der Pfad /usr/sap/trans/.
  3. Kopieren Sie die Cofiles in den Ordner DIR_TRANS/cofiles.
  4. Kopieren Sie die Datendateien in den Ordner DIR_TRANS/data.
  5. Legen Sie für die Daten- und Cofile die Nutzer- und Gruppenzuordnung auf <sid>adm und sapsys fest.

Schritt 2: Transportanfragedateien importieren

Der SAP-Administrator kann die Transportanfragedateien mit einer der folgenden Optionen importieren:

Option 1: Transportanfragedateien mit dem SAP-Transport-Management-System importieren
  1. Melden Sie sich im SAP-System als SAP-Administrator an.
  2. Geben Sie die Transaktions-STMS ein.
  3. Klicken Sie auf Übersicht > Importe.
  4. Doppelklicken Sie in der Spalte „Warteschlange” auf die aktuelle SID.
  5. Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
  6. Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
  7. Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie dann auf Anfrage > Importieren.
  8. Geben Sie die Clientnummer ein.

  9. Wählen Sie auf dem Tab Optionen die Optionen Originale überschreiben und Ungültige Komponentenversion ignorieren aus.

    Optional: Wählen Sie Transportanfragen in der Warteschlange für einen späteren Import belassen aus. Dadurch werden Anfragen beim nächsten Import aller Anfragen wieder in der richtigen Reihenfolge importiert. Diese Option ist nützlich, wenn Sie Vorabimporte für einzelne Anfragen vornehmen müssen.

  10. Klicken Sie auf Weiter.

  11. Prüfen Sie mit den entsprechenden Transaktionen wie SE80 und PFCG, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.

Option 2: Transportanfragedateien auf Betriebssystemebene importieren
  1. Melden Sie sich im SAP-System als SAP-Administrator an.

  2. Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Beispiel: tp addtobuffer BW1K900054 DD1

  3. Importieren Sie die Transportanfragen:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Ersetzen Sie NNN durch die Clientnummer. Beispiel:

    tp import BW1K900054 DD1 client=100 U1238

  4. Prüfen Sie mit den entsprechenden Transaktionen wie SE80 und PFCG, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.

Erforderliche SAP-Autorisierungen

Zum Ausführen einer Datenpipeline in Cloud Data Fusion benötigen Sie einen SAP-Nutzer. Der SAP-Nutzer muss vom Typ Communications oder Dialog sein. Damit SAP-Dialogressourcen nicht verwendet werden, wird der Typ Communications empfohlen. Der SAP-Administrator kann Nutzer mit dem SAP-Transaktionscode SU01 erstellen.

SAP-Autorisierungen sind erforderlich, um den Connector für SAP zu konfigurieren. Connectorspezifische SAP-Autorisierungsobjekte werden als Teil der Transportanfrage bereitgestellt. Importieren Sie den Transport der Autorisierungsrolle wie unter SAP-Transport installieren beschrieben, um die Rolle in Ihr System zu übertragen, und generieren Sie die Rolle über den Transaktionscode PFCG.

Bei Standard-SAP-Autorisierungsobjekten verwaltet Ihre Organisation Berechtigungen mit einem eigenen Sicherheitsmechanismus. Sie können Autorisierungsobjekte basierend auf den Sicherheitsrichtlinien Ihrer Organisation verwalten.

Prozesskette und Datenübertragungsprozess erstellen

Für die Erstellung einer Prozesskette und eines Datenübertragungsprozesses sind einige zusätzliche Kenntnisse und Hintergrundwissen erforderlich.

Hintergrundkonzepte

Verwenden Sie SAP HANA Studio, um einen PC und einen DTP zu erstellen oder zu bearbeiten.

Erforderliche Kenntnisse

  • Sie haben Transformationen verwendet, um den Datenfluss zwischen dem Quell- und dem Zielobjekt zu definieren.
  • Sie sind mit grundlegenden BW- und HANA-Konzepten wie DataStore-Objekten (DSO), Datentransformationen, InfoCubes, der Abfrageoptimierung, der HANA-Modellierung und HANA-DB-Funktionen in HANA Studio vertraut. Weitere Informationen zu diesen Konzepten finden Sie in den SAP-Tutorials zu BW und HANA.

Extraktionstyp

Es gibt zwei Modi für die Datenextraktion für einen Datenübertragungsprozess: „Vollständig“ und „Delta“.

  • Vollständig: Es werden alle in der Quelle verfügbaren Daten basierend auf den im DTP angegebenen Filterbedingungen ausgewählt. Wenn die Datenquelle einer der folgenden InfoProvider ist, ist nur der Modus „Vollständiger Extraktionsmodus“ verfügbar:

    • InfoObjects
    • InfoSets
    • DataStore-Objekte für die direkte Aktualisierung

  • Delta: Im Gegensatz zum InfoPackage ist für die Delta-Übertragung mit einem DTP keine explizite Initialisierung erforderlich. Wenn ein DTP zum ersten Mal im Modus „Delta-Extraktion“ ausgeführt wird, werden alle vorhandenen Anfragen bis zum Zeitpunkt der Extraktion aus der Quelle abgerufen und das Delta wird automatisch initialisiert.

    Für einen DTP mit dem Extraktionsmodus „Delta“ sind die folgenden Optionen verfügbar:

    • Delta nur einmal abrufen
    • Alle neuen Daten anfordern
    • Abrufen, bis keine neuen Daten mehr vorhanden sind

Paketgröße: Dies ist die Anzahl der Datensätze in einem einzelnen Datenpaket. Der Standardwert ist 50,000.

Prozesskette erstellen

Verwenden Sie die Transaktion RSPC in der SAP-GUI, um eine Prozesskette zu erstellen. Definieren Sie einen Startprozess und fügen Sie dann die Prozessschritte und die DTP hinzu. Weitere Informationen finden Sie in der SAP-Dokumentation unter Prozessketten erstellen.

In HANA Studio stehen verschiedene Optionen zur Verfügung, um PCs zu überwachen und zu verwalten. Weitere Informationen finden Sie unter SAP BW/4HANA Process Chain Operations.

Datenübertragungsprozess mit einer Prozesskette erstellen

Rufen Sie die Ansicht Planung der Prozesskette auf, die Sie für den Datenübertragungsprozess verwenden möchten. In der Ansicht Planung können Sie den DTP mit HANA Studio erstellen. Weitere Informationen finden Sie in der SAP-Dokumentation unter Data Transfer Process erstellen.

Weitere Informationen zu den Konfigurationsoptionen finden Sie unter All about Data Transfer Process (DTP) – SAP BW 7.

RFC-Verbindung

Damit das Callback-System, z. B. das SAP BW Open Hub Batch Source-Plug-in, darüber informiert wird, dass die Daten verfügbar sind, muss die Prozesskette so aktualisiert werden, dass ein RFC-Ziel verwendet wird:

  1. Erstellen Sie in SM59 eine RFC-Verbindung vom Typ TCP/IP Connections (TCP/IP-Verbindungen), um das Zielsystem nach Abschluss des Datenladevorgangs in BI über BW zu benachrichtigen.

  2. Prüfen Sie, ob die Programm-ID in der RFC-Verbindung konfiguriert ist. Doppelklicken Sie dazu auf die RFC-Verbindung. Die Programm-ID muss für jedes RFC-Ziel eindeutig sein, um Konflikte mit Laufzeit-Listenern zu vermeiden.

  3. Verwenden Sie die neu erstellte TCP/IP-Verbindung in der Prozesskette, um eine Benachrichtigung zu senden, wenn ein Cloud Data Fusion-Batchjob abgeschlossen ist. Bei Namen von Prozessketten wird die Groß- und Kleinschreibung nicht berücksichtigt. Sie muss im End-to-End-Integrationsprozess korrekt in Großbuchstaben angegeben werden.

Logs von Prozessketten und Datenübertragungsprozessen anzeigen

  1. Rufen Sie den T-Code RSPC auf und klicken Sie auf Process Chains (Prozessketten).

  2. Klicken Sie mit der rechten Maustaste auf die Prozesskette, für die Sie Logs anzeigen möchten, und klicken Sie auf Logs anzeigen.

Managed Service for Apache Spark-Cluster bei Verwendung von Process Chain konfigurieren

Damit die Kommunikation über den RFC-Server möglich ist, müssen Sie die SAP Gateway-Porteinträge in der Datei /etc/services in den Managed Service for Apache Spark-Clusternknoten hinzufügen. Es wird empfohlen, ein init action zu verwenden, das Skript, das bei der Initialisierung des Clusters ausgeführt werden soll. Weitere Informationen finden Sie unter Initialisierungsaktionen.

Erstellen Sie eine Scriptdatei und speichern Sie sie in einem Cloud Storage-Bucket. Das folgende Beispiel zeigt den Inhalt der Skriptdatei:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Im vorherigen Beispiel gilt Folgendes:

  • Die Einträge haben das Format sapgwxx 33xx/tcp, wobei XX die SAP-Instanznummer ist.

  • Die Ports für SAP-Instanzen 00 bis 04 werden hinzugefügt.

Führen Sie die folgenden Schritte aus, wenn Sie einen kurzlebigen, einen neu erstellten persistenten oder einen vorhandenen persistenten Managed Service for Apache Spark-Cluster verwenden.

Kurzlebiger Managed Service for Apache Spark-Cluster

Wenn Sie einen sitzungsspezifischen Managed Service for Apache Spark-Cluster verwenden, fügen Sie den init-Skriptpfad den Clustereigenschaften hinzu:

  1. Klicken Sie in der Jobüberwachung auf der Pipeline-Seite in Cloud Data Fusion auf Konfigurieren.
  2. Wählen Sie das Compute-Profil aus und klicken Sie auf Anpassen.
  3. Geben Sie unter Erweiterte Einstellungen im Feld Initialisierungsaktionen den Pfad zum init-Skript ein.

Neuer persistenter Managed Service for Apache Spark-Cluster

Wenn Sie einen neu erstellten nichtflüchtigen Dataproc-Cluster verwenden, verwenden Sie das init-Script im gcloud-Befehl, um den Cluster zu erstellen. Beispiel:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Vorhandener persistenter Managed Service for Apache Spark-Cluster

Wenn Sie einen vorhandenen persistenten Dataproc-Cluster verwenden, gehen Sie so vor:

Wenn der Cluster bereits ohne das init-Skript erstellt wurde, fügen Sie die Einträge manuell in den Master- und Worker-Knoten des Managed Service for Apache Spark-Clusters hinzu.

  1. SSH-Verbindung zum Master- und Clusterknoten herstellen.
  2. Melden Sie sich mit der Root-Nutzer-ID an.
  3. Gehen Sie zu /etc/ und öffnen Sie die Datei /etc/services in einem VI-Editor.
  4. Fügen Sie den Eintrag sapgwxx 33xx/tcp hinzu. Ersetzen Sie xx durch die Nummer Ihrer SAP-Instanz.
  5. Speichern Sie die Datei /etc/services.

Cloud Data Fusion einrichten

Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Richten Sie für private Instanzen Netzwerk-Peering ein. Nachdem das Netzwerk-Peering mit dem Projekt eingerichtet wurde, in dem die SAP-Systeme gehostet werden, ist keine weitere Konfiguration erforderlich, um eine Verbindung zu Ihrer Cloud Data Fusion-Instanz herzustellen. Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.

Schritte für Cloud Data Fusion-Nutzer

  1. Rufen Sie die Instanzdetails auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

      Zur Seite „VM-Instanzen“

  2. Prüfen Sie, ob die Instanz auf Version 6.8.0 oder höher aktualisiert wurde. Wenn die Instanz eine ältere Version hat, müssen Sie ein Upgrade ausführen.
  3. Öffnen Sie die Instanz. Klicken Sie beim Öffnen der Cloud Data Fusion-UI auf Hub.
  4. Wählen Sie den Tab SAP > SAP BW aus. Wenn der SAP-Tab nicht sichtbar ist, finden Sie weitere Informationen unter Fehlerbehebung bei SAP-Integrationen.
  5. Klicken Sie auf SAP BW-Plug-in bereitstellen. Das Plug-in wird auf der Studio-Seite im Menü Quelle angezeigt.

Schritte für den SAP-Administrator und den Google Cloud -Administrator

Der SAP-Administrator lädt die folgenden JCo-Artefakte von der SAP-Supportwebsite herunter und übergibt sie an den Google Cloud -Administrator.

  • One Platform-unabhängig (sapjco3.jar)
  • One-Platform-abhängig (libsapjco3.so auf Unix)

So laden Sie die Dateien herunter:

  1. Rufen Sie die Seite SAP-Connectors auf.
  2. Klicken Sie auf SAP Java Connector/Tools und Dienste. Sie können plattformspezifische Links für den Download auswählen.

  3. Wählen Sie die Plattform aus, auf der Ihre Cloud Data Fusion-Instanz ausgeführt wird:

    1. Wenn Sie für die VMs in Ihrem Cluster Standard- Google Cloud -Images verwenden (Standardeinstellung für Cloud Data Fusion), wählen Sie Linux für Intel-kompatible Prozessoren 64-Bit x86 aus.
    2. Wenn Sie ein benutzerdefiniertes Image verwenden, wählen Sie die entsprechende Plattform aus.

  4. Der Google Cloud -Administrator muss die JCo-Dateien in einen lesbaren Cloud Storage-Bucket kopieren. Stellen Sie den Bucket-Pfad für den Cloud Data Fusion-Nutzer bereit, damit er ihn in das entsprechende Plug-in-Attribut in Cloud Data Fusion eingeben kann: GCS-Pfad zur SAP JCo-Bibliothek. Weitere Informationen finden Sie unter Plug-in konfigurieren.

  5. Der Google Cloud -Administrator muss dem Cloud Data Fusion-Dienstkonto für die Designumgebung und dem Managed Service for Apache Spark-Dienstkonto für die Ausführungsumgebung Lesezugriff auf die beiden Dateien erteilen. Weitere Informationen finden Sie unter Cloud Data Fusion-Dienstkonten.

Plug-in konfigurieren

Das SAP BW Open Hub Batch Source-Plug-in liest den Inhalt einer SAP-Datenquelle.

Zum Filtern der Einträge können Sie die folgenden Attribute für die SAP BW Open Hub Batch Source konfigurieren.

Die Felder werden anhand der folgenden Indikatoren definiert:

  • (M): Makros werden für das jeweilige Feld unterstützt.
  • (O): Optionales Feld

Label: Das Plugin-Label auf dem Canvas.

Einfach

In der folgenden Liste der Attribute bedeutet (M), dass die Option Makros unterstützt und diese zur zentralen Verwaltung der SAP-Verbindungen verwendet werden können. Sie können beispielsweise Makros für die Verbindungsattribute verwenden und die Werte zur Laufzeit mit Laufzeitparametern oder einem Argument Setter-Plug-in festlegen.

  • Referenzname: Name, der dazu dient, diese Quelle eindeutig für die Datenverlaufskontrolle und das Annotieren von Metadaten zu identifizieren.

  • Verbindung verwenden (Ein/Aus-Schaltfläche): Gibt an, ob eine vorhandene Verbindung verwendet werden soll (siehe Verbindungen verwalten). Wenn Sie eine vorhandene Verbindung verwenden, müssen Sie keine SAP-Verbindungsdetails angeben.

  • Verbindung (Verbindungen durchsuchen): Wählen Sie die vorhandene Verbindung aus, die Sie verwenden möchten. Sie können auch die Makrofunktion ${conn(connection-name)} verwenden.

  • SAP-Client (M): Der zu verwendende SAP-Client. Beispiel: 100.

  • SAP-Sprache (M): SAP-Anmeldesprache. Beispiel: EN.

  • Verbindungstyp: SAP-Verbindungstyp – direkt oder Load Balancing. Load-Balanced-Verbindungen werden für die auf Prozessketten basierende Extraktion nicht unterstützt. Weitere Informationen finden Sie unter Supportdetails.

    Wenn Sie einen Verbindungstyp auswählen, ändern sich die verfügbaren Felder.

    Bei einer direkten Verbindung sind die folgenden Felder verfügbar:

    • Host des SAP-Anwendungsservers (M): Der Name oder die IP-Adresse des SAP-Servers.
    • SAP-Systemnummer (M): Die SAP-Systemnummer. Beispiel: 00.
    • SAP-Router (M, O): Der Routerstring.

    Für eine Verbindung mit Load-Balancing sind die folgenden Felder verfügbar:

    • SAP Message Server Host (M): Der Hostname oder die IP-Adresse des SAP Message-Servers.
    • SAP Message Server-Dienst oder Portnummer (M): Der SAP Message Server-Dienst oder die Portnummer. Beispiel: sapms02.
    • SAP-System-ID (SID) (M): Die SAP-System-ID. Beispiel: N75.
    • Name der SAP-Anmeldegruppe (M): Der Name der SAP-Anmeldegruppe. Beispiel: PUBLIC.

  • Use Process Chain (M): Dieses Feld enthält zwei Optionen.

    Wenn Sie die Prozesskette mit der Option Ja aktivieren, werden die folgenden Eigenschaften aktiviert:

    • PC- und DTP-Fehler automatisch beheben: Steuert das Verhalten, wenn ein zuvor fehlgeschlagener Lauf erkannt wird. Wenn deaktiviert, schlägt die Pipeline mit entsprechenden Fehlern fehl. Wenn diese Option aktiviert ist (Standardeinstellung), prüft das Plug-in den Status der Prozesskette und des Datenübertragungsprozesses in SAP. Wenn einer der folgenden Fehler erkannt wird, versucht das Plug-in automatisch, ihn zu beheben:

    • Data Transfer Process in error state: Das Plugin löscht die vorherige Anfrage.

    • Prozesskette im roten Status mit dem Fehler previous request status has not been set: Das Plug-in löscht die blockierende Anfrage, nachdem es die Anfrage-ID aus dem Prozesskettenlog abgerufen hat, und versucht dann, die Prozesskette auszuführen.

    • Wartezeit für Benachrichtigung zum Status der Prozesskette (in Minuten) (M, O): Wartet die angegebene Zeit in Minuten, bis die Prozesskette die Datenbereitstellung abgeschlossen hat und die Pipeline benachrichtigt, die Extraktion zu starten. Wenn Sie 0 angeben oder das Feld leer lassen, wird der Standardwert von 10 Minuten verwendet.

    • Prozesskette (M): Der Name der SAP-Prozesskette. Beispiel: PC_RFC.

    Wenn Sie die Verarbeitungskette mit der Option Nein deaktivieren, werden die folgenden Eigenschaften aktiviert:

    • Open Hub Destination (M): Name der Open Hub Destination, die gelesen werden soll.
    • Anfrage-ID (M,O): Anfrage-ID für den bereits ausgeführten Datenübertragungsprozess.

Anmeldedaten

  • Nutzername für SAP-Anmeldung (M): SAP-Nutzername. Empfohlen: Wenn sich der SAP-Anmeldename regelmäßig ändert, verwenden Sie ein Makro.
  • SAP-Anmeldepasswort (M): SAP-Nutzerpasswort. Empfohlen: Verwenden Sie für sensible Werte wie Nutzerpasswort sichere Makros.

SAP JCo-Details

  • GCP-Projekt-ID (M): Die Google Cloud Projekt-ID, die ein Projekt eindeutig identifiziert. Sie finden es in derGoogle Cloud -Konsole auf dem Dashboard.
  • GCS-Pfad zur SAP JCo-Bibliothek (M): Der Cloud Storage-Pfad, der die vom Nutzer hochgeladenen SAP JCo-Bibliotheksdateien enthält.
  • Schema abrufen: Klicken Sie auf diese Option, wenn das Plug-in ein Schema auf Grundlage der Metadaten von SAP mit automatischer Zuordnung der SAP-Datentypen zu den entsprechenden Cloud Data Fusion-Datentypen generieren soll. Die Funktion ist dieselbe wie bei der Schaltfläche Validieren.

Weitere Informationen zu den Clientzertifikaten finden Sie unter X.509-Clientzertifikate auf dem SAP NetWeaver Application Server für ABAP verwenden.

Erweitert

  • Anzahl der zu generierenden Splits (M, O): Die Anzahl der Splits wird verwendet, um die Eingabedaten zu partitionieren. Mehr Partitionen erhöhen den Parallelisierungsgrad, erfordern aber mehr Ressourcen und Overhead. Bei einem lokalen SAP-System werden die Splits, wenn der Wert nicht in der Benutzeroberfläche angegeben ist, auf 50% der verfügbaren Dialogarbeitsprozesse in SAP festgelegt. Andernfalls werden die Aufteilungen zwischen den vom Nutzer angegebenen und 50% der verfügbaren Arbeitsprozesse optimiert.

    Empfohlen: Lassen Sie das Attribut leer, sofern Sie nicht mit den Einstellungen Ihres SAP-Systems vertraut sind.

  • Zusätzliche SAP-Verbindungseigenschaften (M, O): Legen Sie zusätzliche SAP JCo-Eigenschaften fest, die die SAP JCo-Standardwerte überschreiben. Wenn Sie beispielsweise jco.destination.pool_capacity = 10 festlegen, wird die Standardkapazität des Verbindungspools überschrieben.

    In der folgenden Tabelle sind die unterstützten SAP JCo-Attribute aufgeführt:

Attribut Beschreibung
jco.destination.peak_limit Maximale Anzahl aktiver Verbindungen, die gleichzeitig für ein Ziel erstellt werden können.
jco.destination.pool_capacity Maximale Anzahl inaktiver Verbindungen, die vom Ziel offen gehalten werden. Ein Wert von 0 hat zur Folge, dass kein Connection Pooling erfolgt. Das heißt, Verbindungen werden nach jeder Anfrage geschlossen.
jco.destination.expiration_time Zeit in ms, nach der die vom internen Pool gehaltenen Verbindungen geschlossen werden können.
jco.destination.expiration_check_period Intervall in ms, mit dem der Thread zur Überprüfung des Zeitlimits die Verbindungen im Pool auf Ablauf prüft.
jco.destination.max_get_client_time Maximale Zeit in ms, die auf eine Verbindung gewartet wird, wenn die maximal zulässige Anzahl von Verbindungen von der Anwendung zugewiesen wird.

Verhalten der Datenextraktionsmodi

Der Datenextraktionsmodus wird über die Einstellungen für den Datenübertragungsprozess gesteuert. Das Verhalten ist unterschiedlich, je nachdem, ob Sie eine Prozesskette oder ein Open Hub Destination verwenden.

Bei Verwendung einer Prozesskette

Einstellungen auf Ebene des Datenübertragungsprozesses steuern, ob ein vollständiger oder ein Delta-Ladevorgang ausgeführt wird. Die Anforderungs-ID wird als Benachrichtigung von SAP an das Plug-in gesendet. Das Plug-in liest Paketdaten, die mit dieser einzelnen Anfrage-ID verknüpft sind.

Open Hub Destination ohne Anfrage-ID verwenden

Vollständiger Ladevorgang: Wenn Sie die Pipeline zum ersten Mal ausführen, werden alle verfügbaren Anforderungs-IDs in der Open Hub-Tabelle abgerufen. Das Plug-in liest Paketdaten, die diesen Anforderungs-IDs zugeordnet sind.

Deltalast: Wenn Sie dieselbe Pipeline das nächste Mal ausführen, werden alle verfügbaren Delta-Anfrage-IDs nach der zuletzt abgerufenen Anfrage-ID abgerufen. Das Plug-in liest Paketdaten, die diesen Anfrage-IDs zugeordnet sind.

Open Hub Destination mit Anfrage-ID verwenden

Vollständiger Ladevorgang: Beim ersten Ausführen der Pipeline werden alle verfügbaren Anforderungs-IDs abgerufen, die größer als die angegebene Anforderungs-ID sind. Das Plug-in liest Paketdaten, die mit diesen Anforderungs-IDs verknüpft sind.

Delta-Ladevorgang: Wenn Sie dieselbe Pipeline das nächste Mal ausführen, werden alle verfügbaren Delta-Anfrage-IDs nach der zuletzt abgerufenen Anfrage-ID abgerufen. Das Plug-in liest Paketdaten, die mit diesen Anforderungs-IDs verknüpft sind.

Datentypzuordnung

In der folgenden Tabelle sehen Sie die Zuordnung zwischen Datentypen, die in SAP BW und Cloud Data Fusion verwendet werden.

BW-Datentyp ABAP-Typ Beschreibung (SAP) Cloud Data Fusion-Datentyp
Numerisch
INT1 b 1-Byte-Ganzzahl integer
INT2 s 2-Byte-Ganzzahl integer
INT4 i 4-Byte-Ganzzahl integer
INT8 8 8-Byte-Ganzzahl long
DEZ p Nummer des Pakets im BCD-Format (DEC) decimal
DF16_DEC
DF16_RAW		 a Dezimales Gleitkomma 8 Byte IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Dezimales Gleitkomma 16 Byte IEEE 754r decimal
FLTP f Binäre Gleitkommazahl double
Zeichen
CHAR
LCHR		 c Zeichenstring string
SSTRING
GEOM_EWKB		 string Zeichenstring string
STRING string Zeichenstring CLOB bytes
NUMC
ACCP		 n Numerischer Text string
Byte
RAW
LRAW		 x Binärdaten bytes
Rohstring xstring Bytestring BLOB bytes
Datum/Uhrzeit
DATS d Datum date
TIMS t Zeit time
TIMESTAMP utcl TimeStamp
Utclong		 timestamp

Validierung

Klicken Sie auf Validieren oder Schema abrufen.

Das Plug-in validiert die Attribute und generiert ein Schema anhand der Metadaten von SAP. SAP-Datentypen werden den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet.

Datenpipeline ausführen

  1. Klicken Sie nach der Bereitstellung der Pipeline auf Konfigurieren.
  2. Wählen Sie Ressourcen aus.
  3. Ändern Sie bei Bedarf die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
  4. Klicken Sie auf Speichern.
  5. Klicken Sie zum Starten der Datenpipeline auf Ausführen.

Leistung optimieren

Plug-in-Konfiguration optimieren

Verwenden Sie die folgenden Attribute, um eine optimale Leistung beim Ausführen der Pipeline zu erreichen:

  • Anzahl der zu generierenden Splits in den Cloud Data Fusion-Plug-in-Eigenschaften: Dadurch wird die Parallelität auf der Cloud Data Fusion-Seite direkt gesteuert. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen und SAP-Verbindungen beim Extrahieren der Tabelleneinträge. Werte zwischen 8 und 16 werden empfohlen, können aber mit der entsprechenden Konfiguration auf SAP-Seite auf bis zu 32 oder 64 erhöht werden, wobei geeignete Speicherressourcen für die Arbeitsprozesse in SAP zugewiesen werden.

    Wenn der Wert 0 ist oder leer bleibt (empfohlen), wählt das System automatisch einen geeigneten Wert anhand der Anzahl der verfügbaren SAP-Arbeitsprozesse, der zu extrahierenden Datensätze und der Paketgröße aus.

  • Paketgröße in den Eigenschaften des BW-Datenübertragungsprozesses: Damit wird die Anzahl der Datensätze in einem einzelnen Datenpaket gesteuert. Der Standardwert ist 50,000. Wenn Sie diesen Wert erhöhen, kann sich die Leistung verbessern, aber die Ressourcenlast steigt. Wenn Sie bereits höhere Werte verwenden, verringern Sie ihn, um eine bessere Parallelisierung der Extraktion zu ermöglichen.

Cloud Data Fusion-Ressourceneinstellungen

Empfohlen: Verwenden Sie 1 CPU und 4 GB Arbeitsspeicher pro Executor. Dieser Wert gilt für jeden Executor-Prozess. Legen Sie diese Werte im Dialogfeld > Ressourcen konfigurieren fest.

Clustereinstellungen für Managed Service for Apache Spark

Empfohlen: Weisen Sie mindestens eine Gesamtzahl von CPUs über Worker zu, die größer als die vorgesehene Anzahl von Splits ist. Weitere Informationen finden Sie unter Plug-in-Konfiguration.

Wenn Sie beispielsweise 16 Splits haben, definieren Sie insgesamt 20 oder mehr CPUs für alle Worker. Es wird ein Overhead von vier CPUs für die Koordination verwendet.

Empfohlen: Verwenden Sie einen nichtflüchtigen Managed Service for Apache Spark-Cluster, um die Datenpipeline-Laufzeit zu verkürzen. Dadurch entfällt der Bereitstellungsschritt, der einige Minuten oder länger dauern kann. Legen Sie dies im Abschnitt zur Compute Engine-Konfiguration fest.

Supportdetails

Unterstützte SAP-Produkte und ‑Versionen

Unterstützte Quellen:

  • SAP NW BW 7.5 und höher
  • SAP BW4HANA 2.0 SP9 (einschließlich Open Hub Destination API; frühere Versionen von BW4HANA unterstützen die Open Hub Destination API nicht)

Unterstützung für SAP-Verbindungen mit Load-Balancing (Message Server)

Die SAP-Verbindung mit Load-Balancing (Message Server) wird für die Extraktion auf Grundlage des Open Hub-Ziels unterstützt, bei der kein RFC-Server verwendet wird.

Die SAP-Verbindung mit Load-Balancing (Message Server) wird für die auf Prozessketten basierende Extraktion nicht unterstützt. Der Grund dafür ist eine SAP-Einschränkung bei der Bereitstellung von data ready-Benachrichtigungen für das Clientsystem. Dazu muss der RFC-Server (Plugin-Listener) auf jedem SAP-Server in der BW-Umgebung registriert werden, was den Speicherbedarf des Connectors erhöht und sich möglicherweise auf die SAP-Leistung und die Ressourcennutzung auswirkt. Weitere Informationen finden Sie im SAP-Hinweis 2572564 (SAP-Supportanmeldung zum Aufrufen erforderlich).

Unterstützte SAP-Bereitstellungsmodelle

Das Plug-in wurde mit SAP-Servern getestet, die in Google Cloudbereitgestellt werden.

Unterstützte SAP-Objekte

Datenquellen für Open Hub Destination: InfoProvider (InfoObject, InfoCube, DataStore-Objekt, Advanced DataStore-Objekt, Composite Provider)

Prozessketten, um den Datenübertragungsprozess automatisch in das Open Hub-Ziel auszuführen.

Separate Lizenz für die Verwendung von Oracle HTTP Server zum Extrahieren von Daten aus SAP

Sie benötigen keine separate Lizenz, um Oracle HTTP Server (OHS) zum Extrahieren von Daten aus SAP zu verwenden. Wenden Sie sich jedoch an Ihren SAP-Ansprechpartner, um Informationen zu Ihrer spezifischen Vereinbarung und Ihrem Anwendungsfall zu erhalten.

Erwarteter Plug-in-Durchsatz

Für eine Umgebung, die gemäß den Richtlinien unter Leistung optimieren konfiguriert ist, kann das Plug-in ca. 38 GB pro Stunde extrahieren. Die tatsächliche Leistung kann je nach Cloud Data Fusion- und SAP-Systemlast oder Netzwerkverkehr variieren.

Nächste Schritte