Origine batch SAP BW Open Hub

Questa guida descrive come eseguire il deployment, configurare ed eseguire pipeline di dati che utilizzano il plug-in SAP BW Open Hub Batch Source. Puoi utilizzare SAP come origine per l'estrazione di dati basata su batch e delta in Cloud Data Fusion tramite il servizio BW Open Hub.

Questo plug-in consente l'integrazione collettiva dei dati da applicazioni SAP con Cloud Data Fusion. Puoi configurare ed eseguire trasferimenti di dati in blocco da DataSources SAP senza programmazione.

Per le applicazioni e gli oggetti SAP supportati per l'estrazione, vedi Dettagli del supporto. Per saperne di più sull'esecuzione di SAP su Google Cloud, consulta la panoramica di SAP su Google Cloud.

Obiettivi

  • Configura il sistema SAP BW.
  • Esegui il deployment del plug-in nell'ambiente Cloud Data Fusion.
  • Scarica il trasporto SAP da Cloud Data Fusion e installalo in SAP.
  • Utilizza Cloud Data Fusion e SAP BW Open Hub Batch Source per creare pipeline di dati per l'integrazione dei dati SAP.

Prima di iniziare

Per utilizzare questo plug-in, devi avere conoscenze del dominio nei seguenti ambiti:

  • Creazione di pipeline in Cloud Data Fusion
  • Configurazione dei sistemi SAP BW o BW4HANA

Ruoli utente

Le attività in questa pagina vengono eseguite da persone con i seguenti ruoli in Google Cloud o nel sistema SAP:

Tipo di utente Descrizione
Amministratore Google Cloud Gli utenti a cui è assegnato questo ruolo sono amministratori degli account Google Cloud.
Utente Cloud Data Fusion Gli utenti a cui è assegnato questo ruolo sono autorizzati a progettare ed eseguire pipeline di dati. Devono disporre almeno del ruolo Visualizzatore Data Fusion ( roles/datafusion.viewer). Se utilizzi il controllo degli accessi basato sui ruoli, potresti avere bisogno di altri ruoli.
Amministratore SAP Gli utenti a cui è assegnato questo ruolo sono amministratori del sistema SAP. Hanno accesso per scaricare il software dal sito del servizio SAP. Non è un ruolo IAM.
Utente SAP Gli utenti a cui è assegnato questo ruolo sono autorizzati a connettersi a un sistema SAP. Non è un ruolo IAM.

Prerequisiti per SAP BW

Per creare e modificare i processi di trasferimento dei dati e le catene di processi, devi utilizzare SAP HANA Studio.

Prerequisiti per Cloud Data Fusion

  • Per la creazione dell'istanza Cloud Data Fusion è necessaria una rete VPC.
  • È necessaria un'istanza Cloud Data Fusion, versione 6.8.0 o successive, qualsiasi edizione.
  • I ruoli richiesti devono essere concessi al account di servizio assegnato all'istanza Cloud Data Fusion. Per saperne di più, consulta Concessione dell'autorizzazione utente del service account.
  • Devi utilizzare una connessione di peering tra il tuo VPC e la rete VPC condivisa di Google.

Configura il sistema SAP BW

SAP BW Open Hub Batch Source utilizza un Remote Function Module (RFM), che deve essere installato su ogni server SAP da cui vengono estratti i dati. Questo RFM viene fornito come trasporto SAP.

Per configurare il sistema SAP:

  1. L'utente Cloud Data Fusion deve scaricare il file ZIP contenente il trasporto SAP e fornirlo all'amministratore SAP. Per saperne di più, vedi Configurare Cloud Data Fusion.
  2. L'amministratore SAP deve importare il trasporto SAP nel sistema SAP e verificare gli oggetti creati. Per saperne di più, consulta Installare il trasporto SAP.
  3. (Facoltativo) L'utente SAP può modificare gli oggetti di autorizzazione standard SAP del ruolo fornito /GOOG/BWOH_CDF_AUTH in base alle norme di sicurezza della propria organizzazione.

Installa i file di trasporto SAP

Per progettare ed eseguire pipeline di dati in Cloud Data Fusion, i componenti SAP vengono forniti in file di trasporto SAP, archiviati in un file zip. Il download è disponibile quando deploy il plug-in in Cloud Data Fusion Hub.

Per installare il trasporto SAP:

Passaggio 1: carica i file della richiesta di trasporto

  1. Accedi al sistema operativo dell'istanza SAP.
  2. Utilizza il codice transazione SAP AL11 per ottenere il percorso della cartella DIR_TRANS. In genere, il percorso è /usr/sap/trans/.
  3. Copia i file co nella cartella DIR_TRANS/cofiles.
  4. Copia i file di dati nella cartella DIR_TRANS/data.
  5. Imposta l'utente e il gruppo di dati e del cofile su <sid>adm e sapsys.

Passaggio 2: importa i file delle richieste di trasporto

L'amministratore SAP può importare i file di richiesta di trasporto utilizzando una delle seguenti opzioni:

Opzione 1: importa i file della richiesta di trasporto utilizzando il sistema di gestione dei trasporti SAP
  1. Accedi al sistema SAP come amministratore SAP.
  2. Inserisci l'STMS della transazione.
  3. Fai clic su Panoramica > Importazioni.
  4. Nella colonna Coda, fai doppio clic sull'SID corrente.
  5. Fai clic su Extra > Altre richieste > Aggiungi.
  6. Seleziona l'ID richiesta di trasporto e fai clic su Continua.
  7. Seleziona la richiesta di trasporto nella coda di importazione e poi fai clic su Richiesta > Importa.
  8. Inserisci il numero cliente.

  9. Nella scheda Opzioni, seleziona Sovrascrivi originali e Ignora versione componente non valida.

    (Facoltativo) Seleziona Lascia le richieste di trasporto in coda per l'importazione successiva. In questo modo, le richieste vengono importate di nuovo nell'ordine corretto con la successiva importazione di tutte le richieste. Questa opzione è utile se devi eseguire importazioni preliminari per singole richieste.

  10. Fai clic su Continua.

  11. Verifica che il modulo funzionale e i ruoli di autorizzazione siano stati importati correttamente utilizzando le transazioni appropriate, ad esempio SE80 e PFCG.

Opzione 2: importa i file della richiesta di trasporto a livello di sistema operativo
  1. Accedi al sistema SAP come amministratore SAP.

  2. Aggiungi le richieste appropriate al buffer di importazione:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Ad esempio: tp addtobuffer BW1K900054 DD1

  3. Importa le richieste di trasporto:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Sostituisci NNN con il numero cliente. Ad esempio:

    tp import BW1K900054 DD1 client=100 U1238

  4. Verifica che il modulo funzionale e i ruoli di autorizzazione siano stati importati correttamente utilizzando transazioni appropriate, come SE80 e PFCG.

Autorizzazioni SAP richieste

Per eseguire una pipeline di dati in Cloud Data Fusion, devi disporre di un utente SAP. L'utente SAP deve essere di tipo Communications o Dialog. Per evitare di utilizzare le risorse di dialogo SAP, è consigliato il tipo Communications. L'amministratore SAP può creare utenti utilizzando il codice di transazione SAP SU01.

Per configurare il connettore per SAP sono necessarie le autorizzazioni SAP. Gli oggetti di autorizzazione SAP specifici del connettore vengono forniti nell'ambito della richiesta di trasporto. Importa il trasporto del ruolo di autorizzazione come descritto in Installare il trasporto SAP per importare il ruolo nel tuo sistema e generarlo dal codice di transazione PFCG.

Per gli oggetti di autorizzazione SAP standard, la tua organizzazione gestisce le autorizzazioni con il proprio meccanismo di sicurezza. Puoi gestire gli oggetti di autorizzazione in base ai criteri di sicurezza della tua organizzazione.

Crea una catena di processi (PC) e un processo di trasferimento dei dati (DTP)

La creazione di una catena di processi e di un processo di trasferimento dei dati richiede alcune competenze e conoscenze di base aggiuntive.

Concetti di base

Per creare o modificare un PC e un DTP, utilizza SAP HANA Studio.

Competenze preliminari

  • Hai utilizzato le trasformazioni per definire il flusso di dati tra l'origine e l'oggetto di destinazione.
  • Hai familiarità con i concetti di base di BW e HANA, come DataStore Object (DSO), trasformazioni dei dati, InfoCube, ottimizzazione delle query, modellazione HANA e funzionalità del database HANA utilizzando HANA Studio. Per ulteriori informazioni su questi concetti, consulta i tutorial SAP su BW e HANA.

Tipo di estrazione

Esistono due modalità di estrazione dei dati per un processo di trasferimento dei dati: completa e delta.

  • Completo: seleziona tutti i dati disponibili nell'origine in base alle condizioni di filtro menzionate nel DTP. Se l'origine dei dati è uno dei seguenti InfoProvider, è disponibile solo la modalità di estrazione completa:

    • InfoObjects
    • InfoSets
    • Oggetti DataStore per l'aggiornamento diretto

  • Delta: a differenza di InfoPackage, il trasferimento delta tramite un DTP non richiede un'inizializzazione esplicita. Quando viene eseguito un DTP con la modalità di estrazione delta per la prima volta, tutte le richieste esistenti fino al momento dell'estrazione vengono recuperate dall'origine e poi il delta viene inizializzato automaticamente.

    Per un DTP con la modalità di estrazione Delta sono disponibili le seguenti opzioni:

    • Ricevere Delta una sola volta
    • Get All New Data Request By Request
    • Recupera fino a quando non ci sono più nuovi dati

Dimensioni pacchetto: il numero di record di dati presenti in un singolo pacchetto di dati. Il valore predefinito è 50,000.

Crea una catena di processi

Per creare una catena di processi, utilizza la transazione RSPC in SAP GUI. Definisci un processo di avvio, quindi aggiungi i passaggi del processo e il DTP. Per saperne di più, consulta la documentazione SAP per Creazione di catene di processi.

In HANA Studio sono disponibili varie opzioni per monitorare e amministrare i PC. Per ulteriori informazioni, consulta SAP BW/4HANA Process Chain Operations.

Creare un processo di trasferimento dei dati utilizzando una catena di processi

Vai alla visualizzazione Pianificazione della catena di processi che vuoi utilizzare per il processo di trasferimento dei dati. Dalla visualizzazione Pianificazione, puoi creare il DTP utilizzando HANA Studio. Per saperne di più, consulta la documentazione SAP relativa alla creazione di una procedura di trasferimento dei dati.

Per ulteriori informazioni sulle opzioni di configurazione, consulta All about Data Transfer Process (DTP) – SAP BW 7.

Connessione RFC

Per comunicare al sistema di callback, ad esempio al plug-in SAP BW Open Hub Batch Source, che i dati sono disponibili, la catena di processi deve essere aggiornata per utilizzare una destinazione RFC:

  1. In SM59, crea una connessione RFC di tipo Connessioni TCP/IP per notificare al sistema di destinazione da BW una volta completato il caricamento dei dati in BI.

  2. Assicurati che l'ID programma sia configurato nella connessione RFC facendo doppio clic sulla connessione RFC. L'ID programma deve essere univoco per ogni destinazione RFC per evitare conflitti del listener di runtime.

  3. Utilizza la connessione TCP/IP appena creata nella catena di processi per inviare la notifica del completamento di un job batch Cloud Data Fusion. Il nome della catena di processi non è sensibile alle maiuscole. Deve essere specificato correttamente in maiuscolo nel processo di integrazione end-to-end.

Visualizzare i log delle catene di processi e dei processi di trasferimento dei dati

  1. Vai al codice transazione RSPC e fai clic su Process Chains (Catene di elaborazione).

  2. Fai clic con il tasto destro del mouse sulla catena di processi per cui vuoi visualizzare i log e fai clic su Visualizza log.

Configura il cluster Managed Service for Apache Spark quando utilizzi Process Chain

Per abilitare la comunicazione tramite il server RFC, devi aggiungere le voci della porta SAP Gateway nel file /etc/services nei nodi del cluster Managed Service for Apache Spark. Ti consigliamo di utilizzare un init action, lo script da eseguire all'inizializzazione del cluster. Per saperne di più, consulta Azioni di inizializzazione.

Crea un file di script e salvalo in un bucket Cloud Storage. L'esempio seguente mostra i contenuti del file di script:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Nell'esempio precedente, tieni presente quanto segue:

  • Le voci sono nel formato sapgwxx 33xx/tcp, dove XX è il numero di istanza SAP.

  • Vengono aggiunte le porte per le istanze SAP da 00 a 04.

Esegui i seguenti passaggi se utilizzi un cluster Managed Service for Apache Spark effimero, persistente appena creato o persistente esistente.

Cluster Managed Service for Apache Spark effimero

Se utilizzi un cluster Managed Service for Apache Spark effimero, aggiungi il percorso dello script init alle proprietà del cluster:

  1. Nel monitoraggio dei job, dalla pagina della pipeline in Cloud Data Fusion, fai clic su Configura.
  2. Seleziona il profilo di calcolo e fai clic su Personalizza.
  3. In Impostazioni avanzate, nel campo Azioni di inizializzazione, inserisci il percorso dello script init.

Nuovo cluster Managed Service for Apache Spark permanente

Se utilizzi un cluster Dataproc permanente appena creato, utilizza lo script init nel comando gcloud per creare il cluster. Ad esempio:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster Managed Service for Apache Spark persistente esistente

Se utilizzi un cluster Dataproc persistente esistente, segui questi passaggi:

Se il cluster è già stato creato senza utilizzare lo script init, aggiungi manualmente le voci nei nodi master e worker del cluster Managed Service for Apache Spark.

  1. Esegui SSH sul nodo master e sul nodo del cluster.
  2. Accedi all'ID utente root.
  3. Vai a /etc/ e apri il file /etc/services in un editor VI.
  4. Aggiungi la voce sapgwxx 33xx/tcp. Sostituisci xx con il numero della tua istanza SAP.
  5. Salva il file /etc/services.

Configurare Cloud Data Fusion

Assicurati che la comunicazione sia abilitata tra l'istanza Cloud Data Fusion e il server SAP. Per le istanze private, configura il peering di rete. Una volta stabilito il peering di rete con il progetto in cui sono ospitati i sistemi SAP, non è necessaria alcuna configurazione aggiuntiva per connettersi all'istanza Cloud Data Fusion. Sia il sistema SAP che l'istanza Cloud Data Fusion devono trovarsi nello stesso progetto.

Passaggi per gli utenti di Cloud Data Fusion

  1. Vai ai dettagli dell'istanza:

    1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

    2. Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.

      Vai a Istanze

  2. Verifica che l'istanza sia stata eseguita l'upgrade alla versione 6.8.0 o successive. Se l'istanza è in una versione precedente, devi eseguire l'upgrade.
  3. Apri l'istanza. Quando si apre la UI di Cloud Data Fusion, fai clic su Hub.
  4. Seleziona la scheda SAP > SAP BW. Se la scheda SAP non è visibile, consulta la sezione Risoluzione dei problemi di integrazione di SAP.
  5. Fai clic su Esegui il deployment del plug-in SAP BW. Il plug-in viene visualizzato nel menu Origine nella pagina di Studio.

Passaggi per l'amministratore SAP e l'amministratore Google Cloud

L'amministratore SAP scarica i seguenti artefatti JCo dal sito di assistenza SAP e li fornisce all'amministratore Google Cloud .

  • Una piattaforma indipendente (sapjco3.jar)
  • Uno dipende dalla piattaforma (libsapjco3.so su Unix)

Per scaricare i file:

  1. Vai alla pagina SAP Connectors.
  2. Fai clic su SAP Java Connector/Tools and Services. Puoi selezionare link specifici per piattaforma per il download.

  3. Seleziona la piattaforma su cui viene eseguita l'istanza Cloud Data Fusion:

    1. Se utilizzi immagini standard Google Cloud per le VM nel tuo cluster, che è l'impostazione predefinita per Cloud Data Fusion, seleziona Linux per processori compatibili con Intel x86 a 64 bit.
    2. Se utilizzi un'immagine personalizzata, seleziona la piattaforma corrispondente.

  4. L' Google Cloud amministratore deve copiare i file JCo in un bucket Cloud Storage leggibile. Fornisci il percorso del bucket all'utente Cloud Data Fusion per inserirlo nella proprietà del plug-in corrispondente in Cloud Data Fusion: SAP JCo Library GCS Path. Vedi Configurare il plug-in.

  5. L' Google Cloud amministratore deve concedere l'accesso in lettura ai due file all'account di servizio Cloud Data Fusion per l'ambiente di progettazione e all'account di servizio Managed Service for Apache Spark per l'ambiente di esecuzione. Per saperne di più, consulta Service account di Cloud Data Fusion.

Configurare il plug-in

Il plug-in SAP BW Open Hub Batch Source legge i contenuti di un'origine dati SAP.

Per filtrare i record, puoi configurare le seguenti proprietà per l'origine batch SAP BW Open Hub.

Per definire i campi vengono utilizzati i seguenti indicatori:

  • (M): indica che le macro sono supportate per il rispettivo campo
  • (O): Campo facoltativo

Etichetta: l'etichetta del plug-in sul canvas.

Di base

Nell'elenco seguente di proprietà, (M) indica che l'opzione supporta le macro e che possono essere utilizzate per gestire centralmente le connessioni SAP. Ad esempio, puoi utilizzare le macro per le proprietà di connessione e impostare i valori in fase di runtime utilizzando i parametri di runtime o un plug-in Argument Setter.

  • Nome di riferimento: nome utilizzato per identificare in modo univoco questa origine per la derivazione e l'annotazione dei metadati.

  • Use connection (Usa connessione) (pulsante di attivazione/disattivazione): indica se utilizzare una connessione esistente (vedi Gestisci connessioni). Se scegli di utilizzare una connessione esistente, non devi fornire alcun dettaglio di connessione SAP.

  • Connessione (sfoglia connessioni): scegli la connessione esistente da utilizzare. Puoi anche utilizzare la funzione macro ${conn(connection-name)}.

  • SAP Client (M): il client SAP da utilizzare. Ad esempio, 100.

  • Lingua SAP (M): lingua di accesso a SAP. Ad esempio, EN.

  • Tipo di connessione: tipo di connessione SAP: diretta o con bilanciamento del carico. Le connessioni con bilanciamento del carico non sono supportate per l'estrazione basata sulla catena di processi. Per ulteriori informazioni, vedi Dettagli dell'assistenza.

    La selezione di un tipo di connessione modifica i campi disponibili.

    Per una connessione diretta, sono disponibili i seguenti campi:

    • Host del server di applicazioni SAP (M): il nome o l'indirizzo IP del server SAP.
    • Numero sistema SAP (M): il numero del sistema SAP. Ad esempio, 00.
    • SAP Router (M, O): la stringa del router.

    Per una connessione bilanciata del carico, sono disponibili i seguenti campi:

    • Host del server di messaggi SAP (M): il nome host o l'indirizzo IP del server di messaggi SAP.
    • Servizio o numero di porta del server di messaggi SAP (M): il servizio o il numero di porta del server di messaggi SAP. Ad esempio, sapms02.
    • ID sistema SAP (SID) (M): l'ID sistema SAP. Ad esempio, N75.
    • Nome gruppo di accesso SAP (M): il nome del gruppo di accesso SAP. Ad esempio, PUBLIC.

  • Utilizza catena di elaborazione (M): questo campo contiene due opzioni.

    Se attivi la catena di elaborazione utilizzando l'opzione Sì, vengono attivate le seguenti proprietà:

    • Risolvi automaticamente gli errori PC e DTP: controlla il comportamento quando viene identificata un'esecuzione non riuscita in precedenza. Se disattivato, il plug-in non supera la pipeline con gli errori pertinenti. Se abilitato (impostazione predefinita), il plug-in controlla lo stato della catena di elaborazione e del processo di trasferimento dei dati in SAP. Se vengono identificati gli errori seguenti, il plug-in tenta automaticamente di risolverli:

    • Data Transfer Process in error state: Il plug-in elimina la richiesta precedente

    • Catena di elaborazione in stato rosso con errore previous request status has not been set: Il plug-in elimina la richiesta di blocco dopo aver ottenuto l'ID richiesta dal log della catena di elaborazione e poi tenta di eseguire la catena di elaborazione.

    • Tempo di attesa per la notifica dello stato della catena di processi (in minuti) (M, O): attende il tempo specificato, in minuti, per il completamento della catena di processi del data staging e notifica alla pipeline di avviare l'estrazione. Se specifichi 0 o lo lasci vuoto, il valore viene considerato come 10 minuti, ovvero il valore predefinito.

    • Process Chain (M): il nome della catena di processi SAP. Ad esempio, PC_RFC.

    Se disattivi la catena di elaborazione utilizzando l'opzione No, vengono attivate le seguenti proprietà:

    • Open Hub Destination (M): nome di Open Hub Destination da leggere.
    • ID richiesta (M,O): ID richiesta per il processo di trasferimento dei dati già eseguito.

Credenziali

  • SAP Logon Username (M): nome utente SAP. Consigliato: se il nome utente di accesso a SAP cambia periodicamente, utilizza una macro.
  • SAP Logon Password (M): password utente SAP. Consigliato: per valori sensibili come Password utente, utilizza macro sicure

Dettagli di SAP JCo

  • ID progetto GCP (M): l'ID progetto Google Cloud , che identifica in modo univoco un progetto. Puoi trovarlo nella dashboard della consoleGoogle Cloud .
  • Percorso GCS della libreria SAP JCo (M): il percorso Cloud Storage che contiene i file della libreria SAP JCo caricati dall'utente.
  • Ottieni schema: fai clic qui se vuoi che il plug-in generi uno schema in base ai metadati di SAP, con la mappatura automatica dei tipi di dati SAP ai tipi di dati Cloud Data Fusion corrispondenti. La funzionalità è la stessa del pulsante Convalida.

Per ulteriori informazioni sui certificati client, vedi Utilizzo dei certificati client X.509 su SAP NetWeaver Application Server per ABAP.

Avanzato

  • Numero di suddivisioni da generare (M, O): il numero di suddivisioni viene utilizzato per partizionare i dati di input. Un numero maggiore di partizioni aumenta il livello di parallelismo, ma richiede più risorse e overhead. Nel caso di un sistema SAP on-premise, se il valore non è specificato nell'interfaccia utente, le suddivisioni sono il 50% dei processi di lavoro di dialogo disponibili in SAP. In caso contrario, le suddivisioni vengono ottimizzate tra quelle specificate dall'utente e il 50% dei processi di lavoro disponibili.

    Consigliato: lascia vuota la proprietà, a meno che tu non abbia familiarità con le impostazioni del sistema SAP.

  • Additional SAP Connection Properties (Proprietà di connessione SAP aggiuntive) (M, O): imposta proprietà SAP JCo aggiuntive che sostituiscono i valori predefiniti di SAP JCo. Ad esempio, l'impostazione di jco.destination.pool_capacity = 10 sostituisce la capacità del pool di connessioni predefinito.

    La tabella seguente elenca le proprietà SAP JCo supportate:

Proprietà Descrizione
jco.destination.peak_limit Numero massimo di connessioni attive che possono essere create per una destinazione contemporaneamente.
jco.destination.pool_capacity Il numero massimo di connessioni inattive mantenute aperte dalla destinazione. Un valore di 0 ha l'effetto che non viene utilizzato il pooling delle connessioni, ovvero le connessioni vengono chiuse dopo ogni richiesta.
jco.destination.expiration_time Tempo in ms dopo il quale le connessioni mantenute dal pool interno possono essere chiuse.
jco.destination.expiration_check_period Intervallo in ms con cui il thread di controllo del timeout verifica la scadenza delle connessioni nel pool.
jco.destination.max_get_client_time Tempo massimo in ms per attendere una connessione, se il numero massimo di connessioni consentite è allocato dall'applicazione.

Comportamento delle modalità di estrazione dei dati

La modalità di estrazione dei dati è controllata tramite le impostazioni del processo di trasferimento dei dati. Il comportamento è diverso quando si utilizza una catena di processi rispetto a una destinazione Open Hub.

Quando utilizzi una catena di elaborazione

Le impostazioni a livello di processo di trasferimento dei dati controllano se viene eseguito un caricamento completo o delta. L'ID richiesta arriva come notifica da SAP al plug-in. Il plug-in legge i dati dei pacchetti associati a questo singolo ID richiesta.

Quando utilizzi la destinazione Open Hub senza ID richiesta

Caricamento completo: la prima esecuzione della pipeline recupera tutti gli ID richiesta disponibili nella tabella Open Hub. Il plug-in legge i dati dei pacchetti associati a questi ID richiesta.

Caricamento differenziale: la successiva esecuzione della stessa pipeline recupera tutti gli ID richiesta differenziale disponibili dopo l'ultimo ID richiesta recuperato. Il plug-in legge i dati dei pacchetti associati a questi ID richiesta.

Quando utilizzi Open Hub Destination con l'ID richiesta

Caricamento completo: la prima esecuzione della pipeline recupera tutti gli ID richiesta successivi disponibili superiori all'ID richiesta specificato. Il plug-in legge i dati dei pacchetti associati a questi ID richiesta.

Caricamento delta: la successiva esecuzione della stessa pipeline recupera tutti gli ID richiesta delta disponibili dopo l'ultimo ID richiesta recuperato. Il plug-in legge i dati dei pacchetti associati a questi ID richiesta.

Mappatura dei tipi di dati

La seguente tabella mostra il mapping tra i tipi di dati utilizzati in SAP BW e Cloud Data Fusion.

Tipo di dati BW Tipo ABAP Descrizione (SAP) Tipo di dati Cloud Data Fusion
Numerico
INT1 b Numero intero a 1 byte integer
INT2 s Numero intero a 2 byte integer
INT4 i Numero intero a 4 byte integer
INT8 8 Intero a 8 byte long
DIC p Numero compresso in formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Virgola mobile decimale a 8 byte IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Virgola mobile decimale a 16 byte IEEE 754r decimal
FLTP f Numero binario in virgola mobile double
Carattere
CHAR
LCHR		 c Stringa di caratteri string
SSTRING
GEOM_EWKB		 string Stringa di caratteri string
STRING string CLOB di stringa di caratteri bytes
NUMC
ACCP		 n Testo numerico string
Byte
RAW
LRAW		 x Dati binari bytes
RAWSTRING xstring BLOB di stringa di byte bytes
Data/ora
DATS d Data date
TIMS t Ora time
TIMESTAMP utcl TimeStamp
Utclong		 timestamp

Convalida

Fai clic su Convalida o Ottieni schema.

Il plug-in convalida le proprietà e genera uno schema basato sui metadati di SAP. Mappa automaticamente i tipi di dati SAP ai tipi di dati Cloud Data Fusion corrispondenti.

Esegui una pipeline di dati

  1. Dopo aver eseguito il deployment della pipeline, fai clic su Configura.
  2. Seleziona Risorse.
  3. Se necessario, modifica la CPU dell'executor e la memoria in base alle dimensioni complessive dei dati e al numero di trasformazioni utilizzate nella pipeline.
  4. Fai clic su Salva.
  5. Per avviare la pipeline di dati, fai clic su Esegui.

Ottimizza le prestazioni

Ottimizzare la configurazione del plug-in

Utilizza le seguenti proprietà per ottenere prestazioni ottimali quando esegui la pipeline:

  • Numero di suddivisioni da generare nelle proprietà del plug-in Cloud Data Fusion: questo controlla direttamente il parallelismo sul lato Cloud Data Fusion. Il motore di runtime crea il numero specificato di partizioni e connessioni SAP durante l'estrazione dei record della tabella. Sono consigliati valori compresi tra 8 e 16, ma puoi aumentare fino a 32 o 64 con la configurazione appropriata sul lato SAP, allocando risorse di memoria appropriate per i processi di lavoro in SAP.

    Se il valore è 0 o viene lasciato vuoto (opzione consigliata), il sistema sceglie automaticamente un valore appropriato in base al numero di processi di lavoro SAP disponibili, ai record da estrarre e alle dimensioni del pacchetto.

  • Dimensioni pacchetto nelle proprietà del processo di trasferimento dei dati BW: questo parametro controlla il numero di record di dati presenti in un singolo pacchetto di dati. Il valore predefinito è 50,000. Aumentare questo valore potrebbe migliorare le prestazioni, ma aumenta il carico delle risorse. Se utilizzi già valori più elevati, diminuiscili per consentire una migliore parallelizzazione dell'estrazione.

Impostazioni delle risorse Cloud Data Fusion

Consigliato: utilizza 1 CPU e 4 GB di memoria per esecutore. Questo valore si applica a ogni processo di esecuzione. Imposta questi valori nella finestra di dialogo Configura > Risorse.

Impostazioni del cluster Managed Service for Apache Spark

Consigliato: assegna almeno un totale di CPU ai worker, superiore al numero di suddivisioni previsto. Vedi Configurazione plug-in.

Ad esempio, se hai 16 suddivisioni, definisci 20 o più CPU in totale, in tutti i worker. Esiste un overhead di 4 CPU utilizzate per il coordinamento.

Consigliato: utilizza un cluster Managed Service for Apache Spark permanente per ridurre il runtime della pipeline di dati. In questo modo viene eliminato il passaggio di provisioning, che potrebbe richiedere alcuni minuti o più. Imposta questa opzione nella sezione di configurazione di Compute Engine.

Dettagli dell'assistenza

Prodotti e versioni SAP supportati

Origini supportate:

  • SAP NW BW 7.5 e versioni successive
  • SAP BW4HANA 2.0 SP9 (per includere l'API Open Hub Destination; le versioni precedenti di BW4HANA non supportano l'API Open Hub Destination)

Supporto della connessione SAP con bilanciamento del carico (server di messaggi)

La connessione SAP con bilanciamento del carico (server di messaggi) è supportata per l'estrazione basata sulla destinazione Open Hub, in cui non viene utilizzato un server RFC.

La connessione SAP con bilanciamento del carico (server di messaggi) non è supportata per l'estrazione basata sulla catena di processi. Il motivo è una limitazione di SAP quando fornisce la notifica data ready al sistema client, che richiede la registrazione del server RFC (listener del plug-in) su ogni server SAP nel panorama BW, aumentando l'impronta del connettore e potenzialmente influendo sulle prestazioni e sull'utilizzo delle risorse di SAP. Per saperne di più, consulta la nota SAP 2572564 (per visualizzarla è necessario accedere all'assistenza SAP).

Modelli di deployment SAP supportati

Il plug-in viene testato con i server SAP di cui è stato eseguito il deployment su Google Cloud.

Oggetti SAP supportati

Origini dati per la destinazione Open Hub: InfoProvider (InfoObject, InfoCube, DataStore Object, Advanced Data Store Object, Composite Provider)

Catene di processi per eseguire automaticamente il processo di trasferimento dei dati nella destinazione Open Hub.

Licenza separata per utilizzare Oracle HTTP Server per estrarre dati da SAP

Non è necessaria una licenza separata per utilizzare Oracle HTTP Server (OHS) per estrarre i dati da SAP. Tuttavia, verifica con il tuo rappresentante SAP l'accordo e il caso d'uso specifici.

Velocità effettiva del plug-in prevista

Per un ambiente configurato in base alle linee guida riportate in Ottimizzare il rendimento, il plug-in può estrarre circa 38 GB all'ora. Le prestazioni effettive possono variare in base al carico del sistema Cloud Data Fusion e SAP o al traffico di rete.

Passaggi successivi