Origine batch SAP OData

Questa guida descrive come eseguire il deployment, configurare ed eseguire pipeline di dati che utilizzano il plug-in SAP OData.

Puoi utilizzare SAP come origine per l'estrazione di dati basata su batch in Cloud Data Fusion utilizzando l'Open Data Protocol (OData). Il plug-in SAP OData consente di configurare ed eseguire trasferimenti di dati da SAP OData Catalog Services senza programmazione.

Per saperne di più sui servizi di catalogo SAP OData e sulle origini dati supportati, consulta i dettagli dell'assistenza. Per saperne di più su SAP su Google Cloud, consulta la panoramica di SAP su Google Cloud.

Obiettivi

  • Configura il sistema SAP ERP (attiva le origini dati in SAP).
  • Esegui il deployment del plug-in nell'ambiente Cloud Data Fusion.
  • Scarica il trasporto SAP da Cloud Data Fusion e installalo in SAP.
  • Utilizza Cloud Data Fusion e SAP OData per creare pipeline di dati per l'integrazione dei dati SAP.

Prima di iniziare

Per utilizzare questo plug-in, devi avere conoscenze di dominio nelle seguenti aree:

  • Creazione di pipeline in Cloud Data Fusion
  • Gestione dell'accesso con IAM
  • Configurazione di sistemi ERP (Enterprise Resource Planning) on-premise e SAP Cloud

Ruoli utente

Le attività in questa pagina vengono eseguite da persone con i seguenti ruoli in Google Cloud o nel sistema SAP:

Tipo di utente Descrizione
Amministratore Google Cloud Gli utenti a cui è assegnato questo ruolo sono amministratori degli account Google Cloud.
Utente Cloud Data Fusion Gli utenti a cui è assegnato questo ruolo sono autorizzati a progettare ed eseguire pipeline di dati. Devono disporre almeno del ruolo Visualizzatore Data Fusion ( roles/datafusion.viewer). Se utilizzi il controllo degli accessi basato sui ruoli, potresti avere bisogno di altri ruoli.
Amministratore SAP Gli utenti a cui è assegnato questo ruolo sono amministratori del sistema SAP. Hanno accesso per scaricare il software dal sito del servizio SAP. Non è un ruolo IAM.
Utente SAP Gli utenti a cui è assegnato questo ruolo sono autorizzati a connettersi a un sistema SAP. Non è un ruolo IAM.

Prerequisiti per l'estrazione OData

  1. Il servizio di catalogo OData deve essere attivato nel sistema SAP.

  2. I dati devono essere inseriti nel servizio OData.

Prerequisiti per il sistema SAP

  • In SAP NetWeaver 7.02 fino a SAP NetWeaver versione 7.31, le funzionalità OData e SAP Gateway vengono fornite con i seguenti componenti software SAP:

    • IW_FND
    • GW_CORE
    • IW_BEP

  • Nella release 7.40 e successive di SAP NetWeaver, tutte le funzionalità sono disponibili nel componente SAP_GWFND, che deve essere reso disponibile in SAP NetWeaver.

(Facoltativo) Installa i file di trasporto SAP

I componenti SAP necessari per il bilanciamento del carico delle chiamate a SAP vengono forniti come file di trasporto SAP archiviati come file ZIP (una richiesta di trasporto, che consiste in un cofile e un file di dati). Puoi utilizzare questo passaggio per limitare più chiamate parallele a SAP, in base ai processi di lavoro disponibili in SAP.

Il download del file ZIP è disponibile quando deploy il plug-in in Cloud Data Fusion Hub.

Quando importi i file di trasporto in SAP, vengono creati i seguenti progetti SAP OData:

  • Progetti OData

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO

  • Nodo di servizio ICF: GOOG

Per installare il trasporto SAP:

Passaggio 1: carica i file della richiesta di trasporto

  1. Accedi al sistema operativo dell'istanza SAP.
  2. Utilizza il codice transazione SAP AL11 per ottenere il percorso della cartella DIR_TRANS. In genere, il percorso è /usr/sap/trans/.
  3. Copia i file co nella cartella DIR_TRANS/cofiles.
  4. Copia i file di dati nella cartella DIR_TRANS/data.
  5. Imposta l'utente e il gruppo di dati e del cofile su <sid>adm e sapsys.

Passaggio 2: importa i file delle richieste di trasporto

L'amministratore SAP può importare i file di richiesta di trasporto utilizzando una delle seguenti opzioni:

Opzione 1: importa i file di richiesta di trasporto utilizzando il sistema di gestione dei trasporti SAP
  1. Accedi al sistema SAP come amministratore SAP.
  2. Inserisci l'STMS della transazione.
  3. Fai clic su Panoramica > Importazioni.
  4. Nella colonna Coda, fai doppio clic sull'ID cliente corrente.
  5. Fai clic su Extra > Altre richieste > Aggiungi.
  6. Seleziona l'ID richiesta di trasporto e fai clic su Continua.
  7. Seleziona la richiesta di trasporto nella coda di importazione, poi fai clic su Richiesta > Importa.
  8. Inserisci il numero cliente.

  9. Nella scheda Opzioni, seleziona Sovrascrive gli originali e Ignora la versione del componente non valida (se disponibile).

    (Facoltativo) Per pianificare una reimportazione dei trasporti in un secondo momento, seleziona Lascia le richieste di trasporto in coda per l'importazione successiva e Importa nuovamente le richieste di trasporto. Questa operazione è utile per gli upgrade dei sistemi SAP e per i ripristini dei backup.

  10. Fai clic su Continua.

  11. Per verificare l'importazione, utilizza qualsiasi transazione, ad esempio SE80 e SU01.

Opzione 2: importa i file di richiesta di trasporto a livello di sistema operativo
  1. Accedi al sistema SAP come amministratore di sistema SAP.

  2. Aggiungi le richieste appropriate al buffer di importazione eseguendo il seguente comando:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Ad esempio: tp addtobuffer IB1K903958 DD1

  3. Importa le richieste di trasporto eseguendo il seguente comando:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Sostituisci NNN con il numero del cliente. Ad esempio: tp import IB1K903958 DD1 client=800 U1238

  4. Verifica che il modulo della funzione e i ruoli di autorizzazione siano stati importati correttamente utilizzando le transazioni appropriate, ad esempio SE80 e SU01.

Recupera un elenco di colonne filtrabili per un servizio di catalogo SAP

Solo alcune colonne DataSource possono essere utilizzate per le condizioni di filtro (si tratta di una limitazione di SAP per progettazione).

Per ottenere un elenco delle colonne filtrabili per un servizio di catalogo SAP, segui questi passaggi:

  1. Accedi al sistema SAP.
  2. Vai al codice di transazione SEGW.

  3. Inserisci il nome del progetto OData, che è una sottostringa del nome del servizio. Ad esempio:

    • Nome servizio: MM_PUR_POITEMS_MONI_SRV
    • Nome progetto: MM_PUR_POITEMS_MONI

  4. Fai clic su Invio.

  5. Vai all'entità che vuoi filtrare e seleziona Proprietà.

    Puoi utilizzare i campi mostrati in Proprietà come filtri. Le operazioni supportate sono Uguale e Tra (intervallo).

    Filtrare le proprietà in SAP

Per un elenco degli operatori supportati nel linguaggio delle espressioni, consulta la documentazione open source di OData: Convenzioni URI (OData versione 2.0).

Esempio di URI con filtri:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configura il sistema SAP ERP

Il plug-in SAP OData utilizza un servizio OData attivato su ogni server SAP da cui vengono estratti i dati. Questo servizio OData può essere uno standard fornito da SAP o un servizio OData personalizzato sviluppato sul tuo sistema SAP.

Passaggio 1: installa SAP Gateway 2.0

L'amministratore SAP (Basis) deve verificare che i componenti SAP Gateway 2.0 siano disponibili nel sistema di origine SAP, a seconda della release di NetWeaver. Per ulteriori informazioni sull'installazione di SAP Gateway 2.0, accedi a SAP ONE Support Launchpad e consulta la nota 1569624 (è necessario l'accesso) .

Passaggio 2: attiva il servizio OData

Attiva il servizio OData richiesto sul sistema di origine. Per saperne di più, vedi Server di frontend: attiva i servizi OData.

Passaggio 3: crea un ruolo di autorizzazione

Per connetterti a DataSource, crea un ruolo di autorizzazione con le autorizzazioni richieste in SAP e poi concedilo all'utente SAP.

Per creare il ruolo di autorizzazione in SAP:

  1. Nella GUI SAP, inserisci il codice di transazione PFCG per aprire la finestra Role Maintenance (Gestione ruoli).

  2. Nel campo Ruolo, inserisci un nome per il ruolo.

    Ad esempio: ZODATA_AUTH

  3. Fai clic su Ruolo singolo.

    Si apre la finestra Crea ruoli.

  4. Nel campo Descrizione, inserisci una descrizione e fai clic su Salva.

    Ad esempio: Authorizations for SAP OData plugin.

  5. Fai clic sulla scheda Autorizzazioni. Il titolo della finestra cambia in Cambia ruoli.

  6. Nella sezione Modifica dati di autorizzazione e genera profili, fai clic su Modifica dati di autorizzazione.

    Si apre la finestra Scegli modello.

  7. Fai clic su Non selezionare modelli.

    Si apre la finestra Cambia ruolo: autorizzazioni.

  8. Fai clic su Manualmente.

  9. Fornisci le autorizzazioni mostrate nella seguente tabella delle autorizzazioni SAP.

  10. Fai clic su Salva.

  11. Per attivare il ruolo di autorizzazione, fai clic sull'icona Genera.

Autorizzazioni SAP

Classe oggetto Testo della classe dell'oggetto Oggetto Autorizzazione Testo oggetto autorizzazione Autorizzazione Testo Valore
AAAB Oggetti di autorizzazione tra applicazioni S_SERVICE Controlla all'avvio dei servizi esterni SRV_NAME Nome del modulo di programma, transazione o funzione *
AAAB Oggetti di autorizzazione tra applicazioni S_SERVICE Controlla all'avvio dei servizi esterni SRV_TYPE Tipo di flag di controllo e valori predefiniti di autorizzazione HT
FI Contabilità finanziaria F_UNI_HIER Accesso universale alla gerarchia ACTVT Attività 03
FI Contabilità finanziaria F_UNI_HIER Accesso universale alla gerarchia HRYTYPE Tipo di gerarchia *
FI Contabilità finanziaria F_UNI_HIER Accesso universale alla gerarchia HRYID ID gerarchia *

Per progettare ed eseguire una pipeline di dati in Cloud Data Fusion (come utente Cloud Data Fusion), devi disporre delle credenziali utente SAP (nome utente e password) per configurare il plug-in in modo che si connetta all'origine dati.

L'utente SAP deve essere di tipo Communications o Dialog. Per evitare di utilizzare le risorse di dialogo SAP, è consigliato il tipo Communications. Gli utenti possono essere creati utilizzando il codice di transazione SAP SU01.

(Facoltativo) Passaggio 4: proteggi la connessione

Puoi proteggere la comunicazione sulla rete tra la tua istanza privata di Cloud Data Fusion e SAP.

Per proteggere la connessione, segui questi passaggi:

  1. L'amministratore SAP deve generare un certificato X509. Per generare il certificato, vedi Creazione di un PSE server SSL.
  2. L' Google Cloud amministratore deve copiare il file X509 in un bucket Cloud Storage leggibile nello stesso progetto dell'istanza Cloud Data Fusion e fornire il percorso del bucket all'utente Cloud Data Fusion, che lo inserisce durante la configurazione del plug-in.
  3. L' Google Cloud amministratore deve concedere l'accesso in lettura al file X.509 all'utente Cloud Data Fusion che progetta ed esegue le pipeline.

(Facoltativo) Passaggio 5: crea servizi OData personalizzati

Puoi personalizzare la modalità di estrazione dei dati creando servizi OData personalizzati in SAP:

Configurare Cloud Data Fusion

Assicurati che la comunicazione sia abilitata tra l'istanza Cloud Data Fusion e il server SAP. Per le istanze private, configura il peering di rete. Una volta stabilito il peering di rete con il progetto in cui sono ospitati i sistemi SAP, non è necessaria alcuna configurazione aggiuntiva per connettersi all'istanza Cloud Data Fusion. Sia il sistema SAP sia l'istanza Cloud Data Fusion devono trovarsi nello stesso progetto.

Passaggio 1: configura l'ambiente Cloud Data Fusion

Per configurare l'ambiente Cloud Data Fusion per il plug-in:

  1. Vai ai dettagli dell'istanza:

    1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

    2. Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.

      Vai a Istanze

  2. Verifica che l'istanza sia stata aggiornata alla versione 6.4.0 o successive. Se l'istanza è in una versione precedente, devi eseguire l'upgrade.

  3. Fai clic su Visualizza istanza. Quando si apre la UI di Cloud Data Fusion, fai clic su Hub.

  4. Seleziona la scheda SAP > SAP OData.

    Se la scheda SAP non è visibile, consulta la sezione Risoluzione dei problemi di integrazione SAP.

  5. Fai clic su Esegui il deployment del plug-in SAP OData.

    Il plug-in ora viene visualizzato nel menu Origine nella pagina di Studio.

    OData nel menu Origine della pagina di Data Fusion Studio

Passaggio 2: configura il plug-in

Il plug-in SAP OData legge il contenuto di un'origine dati SAP.

Per filtrare i record, puoi configurare le seguenti proprietà nella pagina Proprietà SAP OData.

Nome proprietà Descrizione
Basic
Nome riferimento Nome utilizzato per identificare in modo univoco questa origine per la derivazione o l'annotazione dei metadati.
URL di base SAP OData URL di base OData di SAP Gateway (utilizza il percorso URL completo, simile a https://ADDRESS:PORT/sap/opu/odata/sap/).
Versione OData Versione SAP OData supportata.
Nome servizio Nome del servizio SAP OData da cui vuoi estrarre un'entità.
Nome entità Nome dell'entità che viene estratta, ad esempio Results. Puoi utilizzare un prefisso, ad esempio C_PurchaseOrderItemMoni/Results. Questo campo supporta i parametri Categoria ed Entità. Esempi:
  • Un parametro per la categoria: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results
  • Un parametro per l'entità: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD')
  • Un parametro per Categoria ed Entità: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Credenziali*
Tipo SAP Di base (tramite nome utente e password).
Nome utente di accesso SAP Nome utente SAP
Consigliato: se il nome utente di accesso SAP cambia periodicamente, utilizza una macro.
SAP Logon Password Password utente SAP
Consigliato: utilizza macro sicure per valori sensibili, come le password.
Certificato client X.509 SAP
(vedi Utilizzo dei certificati client X.509 sul server applicazioni SAP NetWeaver per ABAP).
ID progetto GCP Un identificatore univoco globale per il tuo progetto. Questo campo è obbligatorio se il campo Percorso Cloud Storage del certificato X.509 non contiene un valore macro.
Percorso GCS Il percorso del bucket Cloud Storage che contiene il certificato X.509 caricato dall'utente, che corrisponde al server delle applicazioni SAP per chiamate sicure in base ai tuoi requisiti (vedi il passaggio Proteggi la connessione).
Passphrase La passphrase corrispondente al certificato X.509 fornito.
Pulsante Ottieni schema Genera uno schema basato sui metadati di SAP, con la mappatura automatica dei tipi di dati SAP ai tipi di dati Cloud Data Fusion corrispondenti (stessa funzionalità del pulsante Convalida).
Avanzata
Opzioni di filtro Indica il valore che un campo deve avere per essere letto. Utilizza questa condizione di filtro per limitare il volume dei dati di output. Ad esempio, `Price Gt 200` seleziona i record con un valore del campo `Price` maggiore di `200`. (Vedi Ottieni un elenco di colonne filtrabili per un servizio di catalogo SAP.)
Seleziona campi Campi da conservare nei dati estratti (ad esempio: Categoria, Prezzo, Nome, Fornitore/Indirizzo).
Espandi campi Elenco dei campi complessi da espandere nei dati di output estratti (ad esempio: Products/Suppliers).
Numero di righe da saltare Numero totale di righe da saltare (ad esempio: 10).
Numero di righe da recuperare Il numero totale di righe da estrarre.
Numero di divisioni da generare Il numero di suddivisioni utilizzate per partizionare i dati di input. Un numero maggiore di partizioni aumenta il livello di parallelismo, ma richiede più risorse e overhead.
Se il campo viene lasciato vuoto, il plug-in sceglie un valore ottimale (opzione consigliata).
Dimensioni batch Numero di righe da recuperare in ogni chiamata di rete a SAP. Una dimensione ridotta causa chiamate di rete frequenti che ripetono l'overhead associato. Una dimensione elevata potrebbe rallentare il recupero dei dati e causare un utilizzo eccessivo delle risorse in SAP. Se il valore è impostato su 0, il valore predefinito è 2500 e il limite di righe da recuperare in ogni batch è 5000.
Timeout di lettura Il tempo, in secondi, di attesa per il servizio SAP OData. Il valore predefinito è 300. Per non impostare un limite di tempo, imposta il valore 0.

* Le macro sono supportate nelle proprietà delle credenziali. Puoi utilizzarli per gestire centralmente le connessioni SAP. Ad esempio, puoi impostare i valori in fase di runtime utilizzando parametri di runtime o un plug-in Argument Setter.

Tipi OData supportati

La seguente tabella mostra la mappatura tra i tipi di dati OData v2 utilizzati nelle applicazioni SAP e i tipi di dati Cloud Data Fusion.

Tipo OData Descrizione (SAP) Tipo di dati Cloud Data Fusion
Numerico
SByte Valore intero a 8 bit con segno int
Byte Valore intero a 8 bit senza segno int
Int16 Valore intero a 16 bit con segno int
Int32 Valore intero a 32 bit con segno int
Int64 Valore intero a 64 bit con segno a cui è aggiunto il carattere "L"
Esempi: 64L, -352L		 long
Singolo Numero con virgola mobile con precisione a 7 cifre che può rappresentare valori con un intervallo approssimativo da ± 1,18e -38 a ± 3,40e +38, a cui è aggiunto il carattere: "f"
Esempio: 2.0f		 float
Doppio Numero in virgola mobile con precisione di 15 cifre che può rappresentare valori con intervalli approssimativi da ± 2,23e -308 a ± 1,79e +308, a cui viene aggiunto il carattere: "d"
Esempi: 1E+10d, 2.029d, 2.0d		 double
Decimale Valori numerici con precisione e scala fisse che descrivono un valore numerico compreso tra -10^255 + 1 e 10^255 -1, a cui è aggiunto il carattere: "M" o "m"
Esempio: 2.345M		 decimal
Carattere
Guid Un valore identificatore univoco di 16 byte (128 bit), che inizia con il carattere: "guid"
Esempio: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'		 string
Stringa Dati di tipo carattere a lunghezza fissa o variabile codificati in UTF-8 string
Byte
Binario Dati binari a lunghezza fissa o variabile, che iniziano con "X" o "binary" (entrambi fanno distinzione tra maiuscole e minuscole)
Esempio: X'23AB', binary'23ABFF'		 bytes
Logico
Booleano Concetto matematico di logica a due valori boolean
Data/ora
Data/Ora Data e ora con valori compresi tra le ore 00:00:00 del 1° gennaio 1753 e le ore 23:59:59 del 31 dicembre 9999 timestamp
Ora Ora del giorno con valori compresi tra 0:00:00.x e 23:59:59.y, dove "x" e "y" dipendono dalla precisione time
DateTimeOffset Data e ora come offset, in minuti da GMT, con valori compresi tra le 00:00:00 del 1° gennaio 1753 e le 23:59:59 del 31 dicembre 9999 timestamp
Complesso
Proprietà di navigazione e non di navigazione (molteplicità = *) Raccolte di un tipo, con una molteplicità di uno-a-molti. array,
string,
int.
Proprietà (molteplicità = 0.1) Riferimenti ad altri tipi complessi con una molteplicità di uno a uno record

Convalida

Fai clic su Convalida in alto a destra o su Ottieni schema.

Il plug-in convalida le proprietà e genera uno schema basato sui metadati di SAP. Mappa automaticamente i tipi di dati SAP ai tipi di dati Cloud Data Fusion corrispondenti.

Esegui una pipeline di dati

  1. Dopo aver eseguito il deployment della pipeline, fai clic su Configura nel riquadro centrale in alto.
  2. Seleziona Risorse.
  3. Se necessario, modifica la CPU dell'executor e la memoria in base alle dimensioni complessive dei dati e al numero di trasformazioni utilizzate nella pipeline.
  4. Fai clic su Salva.
  5. Per avviare la pipeline di dati, fai clic su Esegui.

Prestazioni

Il plug-in utilizza le funzionalità di parallelizzazione di Cloud Data Fusion. Le seguenti linee guida possono aiutarti a configurare l'ambiente di runtime in modo da fornire risorse sufficienti al motore di runtime per ottenere il grado di parallelismo e le prestazioni previsti.

Ottimizza la configurazione del plug-in

Consigliato:a meno che tu non abbia familiarità con le impostazioni di memoria del sistema SAP, lascia vuoti (non specificati) i campi Numero di suddivisioni da generare e Dimensione batch.

Per prestazioni migliori quando esegui la pipeline, utilizza le seguenti configurazioni:

  • Numero di suddivisioni da generare: sono consigliati valori compresi tra 8 e 16. ma possono aumentare fino a 32 o anche 64 con configurazioni appropriate sul lato SAP (allocazione di risorse di memoria appropriate per i work process in SAP). Questa configurazione migliora il parallelismo sul lato Cloud Data Fusion. Il motore di runtime crea il numero specificato di partizioni (e connessioni SAP) durante l'estrazione dei record.

    • Se il servizio di configurazione (fornito con il plug-in quando importi il file di trasporto SAP) è disponibile, il plug-in utilizza per impostazione predefinita la configurazione del sistema SAP. Le suddivisioni corrispondono al 50% dei processi di lavoro della finestra di dialogo disponibili in SAP. Nota: il servizio di configurazione può essere importato solo dai sistemi S4HANA.

    • Se il servizio di configurazione non è disponibile, il valore predefinito è 7 suddivisioni.

    • In entrambi i casi, se specifichi un valore diverso, il valore che fornisci ha la precedenza sul valore di suddivisione predefinito,tranne per il fatto che è limitato dai processi di dialogo disponibili in SAP, meno due suddivisioni.

    • Se il numero di record da estrarre è inferiore a 2500, il numero di suddivisioni è 1.

  • Dimensioni del batch: il numero di record da recuperare in ogni chiamata di rete a SAP. Una dimensione del batch inferiore causa chiamate di rete frequenti, ripetendo il sovraccarico associato. Per impostazione predefinita, il conteggio minimo è 1000 e quello massimo è 50000.

Per saperne di più, consulta Limiti delle entità OData.

Impostazioni delle risorse Cloud Data Fusion

Consigliato:utilizza 1 CPU e 4 GB di memoria per esecutore (questo valore si applica a ogni processo esecutore). Impostali nella finestra di dialogo Configura > Risorse.

Ottimizza le impostazioni delle risorse nella finestra di configurazione di Cloud Data Fusion

Impostazioni del cluster Managed Service per Apache Spark

Consigliato:come minimo, alloca un numero totale di CPU (tra i worker) superiore al numero di suddivisioni previsto (vedi Configurazione del plug-in).

Ogni worker deve avere almeno 6,5 GB di memoria allocata per CPU nelle impostazioni di Managed Service for Apache Spark (che si traduce in almeno 4 GB disponibili per ogni esecutore Cloud Data Fusion). Le altre impostazioni possono essere mantenute ai valori predefiniti.

Consigliato: Utilizza un cluster Managed Service per Apache Spark persistente per ridurre il runtime della pipeline di dati (in questo modo viene eliminato il passaggio di provisioning, che potrebbe richiedere qualche minuto o più). Imposta questa opzione nella sezione di configurazione di Compute Engine.

Configurazioni di esempio e velocità effettiva

Le sezioni seguenti descrivono la configurazione, la produzione e il throughput di esempio.

Configurazioni di sviluppo e test di esempio

  • Cluster Managed Service per Apache Spark con 8 worker, ognuno con 4 CPU e 26 GB di memoria. Genera fino a 28 suddivisioni.
  • Cluster Managed Service per Apache Spark con 2 worker, ciascuno con 8 CPU e 52 GB di memoria. Genera fino a 12 suddivisioni.

Esempi di configurazioni di produzione e throughput

  • Cluster Managed Service per Apache Spark con 8 worker, ognuno con 8 CPU e 32 GB di memoria. Genera fino a 32 suddivisioni (metà delle CPU disponibili).
  • Cluster Managed Service per Apache Spark con 16 worker, ognuno con 8 CPU e 32 GB di memoria. Genera fino a 64 suddivisioni (metà delle CPU disponibili).

Throughput di esempio per un sistema di origine di produzione SAP S4HANA 1909

La seguente tabella mostra un throughput di esempio. La velocità effettiva mostrata non include opzioni di filtro, se non diversamente specificato. Quando utilizzi le opzioni di filtro, la velocità effettiva viene ridotta.

Dimensione del batch Tempi intermedi Servizio OData Righe totali Righe estratte Throughput (righe al secondo)
1000 4 ZACDOCA_CDS 5,37 M 5,37 M 1069
2500 10 ZACDOCA_CDS 5,37 M 5,37 M 3384
5000 8 ZACDOCA_CDS 5,37 M 5,37 M 4630
5000 9 ZACDOCA_CDS 5,37 M 5,37 M 4817

Throughput di esempio per un sistema di origine di produzione cloud SAP S4HANA

Dimensione del batch Tempi intermedi Servizio OData Righe totali Righe estratte Throughput (GB/ora)
2500 40 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 25,48
5000 50 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 26,78

Dettagli dell'assistenza

Il plug-in supporta i seguenti casi d'uso.

Prodotti e versioni SAP supportati

  • Le origini supportate includono SAP S4/HANA 1909 e versioni successive, S4/HANA su SAP Cloud e qualsiasi applicazione SAP in grado di esporre servizi OData.

  • Il file di trasporto che contiene il servizio OData personalizzato per il bilanciamento del carico delle chiamate a SAP deve essere importato in S4/HANA 1909 e versioni successive. Il servizio consente di calcolare il numero di suddivisioni (partizioni di dati) che il plug-in può leggere in parallelo (vedi Numero di suddivisioni).

  • È supportata la versione 2 di OData.

  • Il plug-in è stato testato con i server SAP S/4HANA di cui è stato eseguito il deployment su Google Cloud.

I servizi di catalogo SAP OData sono supportati per l'estrazione

Il plug-in supporta i seguenti tipi di origini dati:

  • Dati sulle transazioni
  • Visualizzazioni CDS esposte tramite OData

  • Dati master

    • Attributi
    • Testi
    • Gerarchie

Note SAP

Prima dell'estrazione non sono necessarie note SAP, ma il sistema SAP deve disporre di SAP Gateway. Per saperne di più, consulta la nota 1560585 (questo sito esterno richiede l'accesso a SAP).

Limiti al volume di dati o alla larghezza dei record

Non esiste un limite definito al volume di dati estratti. Abbiamo eseguito test con un massimo di 6 milioni di righe estratte in una chiamata, con una larghezza del record di 1 KB. Per SAP S4/HANA sul cloud, abbiamo eseguito test con un massimo di 10 milioni di righe estratte in una chiamata, con una larghezza del record di 1 KB.

Velocità effettiva del plug-in prevista

Per un ambiente configurato in base alle linee guida nella sezione Rendimento, il plug-in può estrarre circa 38 GB all'ora. Le prestazioni effettive possono variare in base ai carichi di sistema di Cloud Data Fusion e SAP o al traffico di rete.

Estrazione delta (dati modificati)

L'estrazione delta non è supportata.

Scenari di errore

In fase di runtime, il plug-in scrive le voci di log nel log della pipeline di dati Cloud Data Fusion. Queste voci sono precedute da CDF_SAP per l'identificazione.

In fase di progettazione, quando convalidi le impostazioni del plug-in, i messaggi vengono visualizzati nella scheda Proprietà e sono evidenziati in rosso.

Il seguente elenco descrive alcuni degli errori:

ID messaggio Messaggio Azione consigliata
Nessuno Required property 'CONNECTION_PROPERTY' for connection type 'CONNECTION_PROPERTY_SETTING'. Inserisci un valore effettivo o una variabile macro.
Nessuno Invalid value for property 'PROPERTY_NAME'. Inserisci un numero intero non negativo (maggiore o uguale a 0, senza decimali) o una variabile macro.
CDF_SAP_ODATA_01505 Failed to prepare the Cloud Data Fusion output schema. Please check the provided runtime macros value. Assicurati che i valori delle macro forniti siano corretti.
N/D SAP X509 certificated 'STORAGE_PATH' is missing. Please make sure the required X509 certificate is uploaded to your specified Cloud Storage bucket 'BUCKET_NAME'. Assicurati che il percorso Cloud Storage fornito sia corretto.
CDF_SAP_ODATA_01532 Codice di errore generico relativo a problemi di connettività SAP OData
Failed to call given SAP OData service. Root Cause: MESSAGE.		 Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.
CDF_SAP_ODATA_01534 Codice di errore generico relativo a qualsiasi errore del servizio SAP OData.
Service validation failed. Root Cause: MESSAGE.		 Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.
CDF_SAP_ODATA_01503 Failed to fetch total available record count from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.
CDF_SAP_ODATA_01506 No records found to extract in SAP_ODATA_SERVICE_ENTITY_NAME. Please ensure that the provided entity contains records. Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.
CDF_SAP_ODATA_01537 Failed to process records for SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.
CDF_SAP_ODATA_01536 Failed to pull records from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.
CDF_SAP_ODATA_01504 Failed to generate the encoded metadata string for the given OData service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.
CDF_SAP_ODATA_01533 Failed to decode the metadata from the given encoded metadata string for service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. Controlla la causa principale visualizzata nel messaggio e prendi i provvedimenti opportuni.

Passaggi successivi