Source de lot SAP OData

Ce guide explique comment déployer, configurer et exécuter des pipelines de données qui utilisent le plug-in SAP OData.

Vous pouvez utiliser SAP comme source pour l'extraction de données par lot dans Cloud Data Fusion à l'aide du protocole OData (Open Data Protocol). Le plug-in SAP OData vous aide à configurer et à exécuter des transferts de données à partir de SAP OData Catalog Services sans aucun codage.

Pour en savoir plus sur les services et les sources de données du catalogue SAP OData compatibles, consultez les informations sur la compatibilité. Pour en savoir plus sur SAP surGoogle Cloud, consultez la présentation de SAP sur Google Cloud.

Objectifs

  • Configurez le système SAP ERP (activer DataSources dans SAP).
  • Déployez le plug-in dans votre environnement Cloud Data Fusion.
  • Téléchargez le transport SAP à partir de Cloud Data Fusion et installez-le dans SAP.
  • Utilisez Cloud Data Fusion et SAP OData pour créer des pipelines de données destinés à l'intégration des données SAP.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants :

  • Créer des pipelines dans Cloud Data Fusion
  • Gestion des accès avec IAM
  • Configurer SAP Cloud et les systèmes ERP sur site

Rôles utilisateur

Les tâches de cette page sont effectuées par des personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d’utilisateur Description
Administrateur Google Cloud Les utilisateurs auxquels ce rôle est attribué sont des administrateurs de compte Google Cloud.
Utilisateur Cloud Data Fusion Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Ils disposent au minimum du rôle Lecteur Data Fusion ( roles/datafusion.viewer). Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP Les utilisateurs auxquels ce rôle est attribué sont les administrateurs du système SAP. Ils ont accès à la page de téléchargement du logiciel à partir du site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Conditions préalables à l'extraction OData

  1. Le service de catalogue OData doit être activé dans le système SAP.

  2. Les données doivent être renseignées dans le service OData.

Conditions préalables pour votre système SAP

  • Dans SAP NetWeaver 7.02 à SAP NetWeaver version 7.31, les fonctionnalités OData et SAP Gateway sont fournies avec les composants logiciels SAP suivants :

    • IW_FND
    • GW_CORE
    • IW_BEP

  • Dans SAP NetWeaver version 7.40 et ultérieures, toutes les fonctionnalités sont disponibles dans le composant SAP_GWFND, qui doit être mis à disposition dans SAP NetWeaver.

Facultatif : Installer les fichiers de transport SAP

Les composants SAP nécessaires à l'équilibrage de charge des appels vers SAP sont fournis sous forme de fichiers de transport SAP archivés au format ZIP (une requête de transport, composée d'un cofile et d'un fichier de données). Vous pouvez utiliser cette étape pour limiter les appels parallèles multiples à SAP, en fonction des processus de travail disponibles dans SAP.

Le fichier ZIP à télécharger est disponible lorsque vous déployez le plug-in dans le hub Cloud Data Fusion.

Lorsque vous importez les fichiers de transport dans SAP, les projets SAP OData suivants sont créés :

  • Projets OData

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO

  • Nœud de service ICF : GOOG

Pour installer le transport SAP, procédez comme suit :

Étape 1 : Importer les fichiers de requête de transport

  1. Connectez-vous au système d'exploitation de l'instance SAP.
  2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès du dossier DIR_TRANS. Le chemin d'accès est généralement /usr/sap/trans/.
  3. Copiez les fichiers cofile dans le dossier DIR_TRANS/cofiles.
  4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
  5. Définissez l'utilisateur et le groupe de données et de cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport de l'une des façons suivantes :

Option 1 : Importer les fichiers de requête de transport à l'aide du système de gestion des transports SAP
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.
  2. Saisissez le code STMS de la transaction.
  3. Cliquez sur Présentation > Importations.
  4. Dans la colonne File d'attente, double-cliquez sur le SID actuel.
  5. Cliquez sur Extras > Autres requêtes > Ajouter.
  6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
  7. Sélectionnez la demande de transport dans la file d'attente d'importation, puis cliquez sur Demander > Importer.
  8. Saisissez le numéro client.

  9. Dans l'onglet Options, sélectionnez Écraser les versions d'origine et Ignorer la version de composant non valide (si disponible).

    (Facultatif) Pour programmer une nouvelle importation des transports pour une utilisation ultérieure, sélectionnez Laisser des requêtes de transport en file d'attente pour une importation ultérieure et Importer à nouveau les requêtes de transport. Cette fonctionnalité est utile pour les mises à niveau du système SAP et les restaurations de sauvegarde.

  10. Cliquez sur Continuer.

  11. Pour vérifier l'importation, utilisez des transactions, telles que SE80 et SU01.

Option 2 : Importer les fichiers de requête de transport au niveau du système d'exploitation
  1. Connectez-vous au système SAP en tant qu'administrateur de système SAP.

  2. Ajoutez les requêtes appropriées au tampon d'importation en exécutant la commande suivante :

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Par exemple : tp addtobuffer IB1K903958 DD1

  3. Importez les requêtes de transport en exécutant la commande suivante :

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Remplacez NNN par le numéro client. Exemple : tp import IB1K903958 DD1 client=800 U1238.

  4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et SU01.

Obtenir la liste des colonnes filtrables pour un service de catalogue SAP

Seules certaines colonnes DataSource peuvent être utilisées pour les conditions de filtre (il s'agit d'une limitation SAP par nature).

Pour obtenir la liste des colonnes filtrables d'un service de catalogue SAP, procédez comme suit :

  1. Connectez-vous au système SAP.
  2. Accédez au t-code SEGW.

  3. Saisissez le nom du projet OData, qui est une sous-chaîne du nom du service. Exemple :

    • Nom du service : MM_PUR_POITEMS_MONI_SRV
    • Nom du projet : MM_PUR_POITEMS_MONI

  4. Cliquez sur Entrée.

  5. Accédez à l'entité que vous souhaitez filtrer, puis sélectionnez Propriétés.

    Vous pouvez utiliser les champs affichés dans la section Propriétés en tant que filtres. Les opérations acceptées sont Equal (Égal à) et Between (Entre : plage).

    Filtrer les propriétés dans SAP

Pour obtenir la liste des opérateurs compatibles avec le langage d'expression, consultez la documentation Open Source OData : Conventions URI (OData version 2.0).

Exemple d'URI avec filtres :

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configurer le système SAP ERP

Le plug-in SAP OData utilise un service OData qui est activé sur chaque serveur SAP à partir duquel les données sont extraites. Ce service OData peut être un service standard fourni par SAP ou un service OData personnalisé développé sur votre système SAP.

Étape 1 : Installez SAP Gateway 2.0

L'administrateur SAP (Basis) doit vérifier que les composants SAP Gateway 2.0 sont disponibles dans le système source SAP, en fonction de la version NetWeaver. Pour en savoir plus sur l'installation de SAP Gateway 2.0, connectez-vous à SAP ONE Support Launchpad et consultez la note 1569624 (connexion requise) .

Étape 2 : Activez le service OData

Activez le service OData requis sur le système source. Pour en savoir plus, consultez Serveur frontal : activer les services OData.

Étape 3 : Créez un rôle d'autorisation

Pour vous connecter à la source de données, créez un rôle d'autorisation avec les autorisations requises dans SAP, puis accordez-le à l'utilisateur SAP.

Pour créer le rôle d'autorisation dans SAP, procédez comme suit :

  1. Dans l'IUG SAP, saisissez le code de transaction PFCG pour ouvrir la fenêtre Maintenance des rôles.

  2. Dans le champ Rôle, saisissez un nom pour le rôle.

    Par exemple : ZODATA_AUTH

  3. Cliquez sur Rôle unique.

    La fenêtre Créer des rôles s'ouvre.

  4. Dans le champ Description, saisissez une description, puis cliquez sur Enregistrer.

    Exemple : Authorizations for SAP OData plugin.

  5. Cliquez sur l'onglet Autorisations. Le titre de la fenêtre passe à Modifier les rôles.

  6. Sous Modifier les données d'autorisation et générer des profils, cliquez sur Modifier les données d'autorisation.

    La fenêtre Choisir un modèle s'ouvre.

  7. Cliquez sur Ne pas sélectionner de modèles.

    La fenêtre Modifier le rôle : Autorisations s'ouvre.

  8. Cliquez sur Manuellement.

  9. Fournissez les autorisations indiquées dans le tableau suivant.

  10. Cliquez sur Enregistrer.

  11. Pour activer le rôle d'autorisation, cliquez sur l'icône Générer.

Autorisations SAP

Classe d'objet Texte de classe d'objet Objet d'autorisation Texte d'objet d'autorisation Autorisation Texte Valeur
AAAB Objets d'autorisation inter-applications S_SERVICE Vérifier au début des services externes SRV_NAME Nom du programme, de la transaction ou du module de fonction *
AAAB Objets d'autorisation inter-applications S_SERVICE Vérifier au début des services externes SRV_TYPE Type de signalement de vérification et valeurs par défaut d'autorisation HT
VEN Comptabilité financière F_UNI_HIER Accès universel à la hiérarchie ACTVT Activité 03
VEN Comptabilité financière F_UNI_HIER Accès universel à la hiérarchie HRYTYPE Type de hiérarchie *
VEN Comptabilité financière F_UNI_HIER Accès universel à la hiérarchie HRYID ID de la hiérarchie *

Pour concevoir et exécuter un pipeline de données dans Cloud Data Fusion (en tant qu'utilisateur Cloud Data Fusion), vous avez besoin des identifiants de l'utilisateur SAP (nom d'utilisateur et mot de passe) pour configurer le plug-in afin qu'il se connecte à la source de données.

L'utilisateur SAP doit être de type Communications ou Dialog. Pour éviter d'utiliser les ressources de dialogue SAP, le type Communications est recommandé. Les utilisateurs peuvent être créés à l'aide du code de transaction SU01 SAP.

Facultatif : Étape 4 : Sécurisez la connexion

Vous pouvez sécuriser la communication sur le réseau entre votre instance Cloud Data Fusion privée et SAP.

Pour sécuriser la connexion, procédez comme suit :

  1. L'administrateur SAP doit générer un certificat X.509. Pour générer le certificat, consultez Créer un PSE de serveur SSL.
  2. L'administrateur Google Cloud doit copier le fichier X509 dans un bucket Cloud Storage lisible, dans le même projet que l'instance Cloud Data Fusion, et indiquer le chemin d'accès au bucket à l'utilisateur Cloud Data Fusion, qui le saisit lors de la configuration du plug-in.
  3. L'administrateur Google Cloud doit accorder un accès en lecture au fichier X509 à l'utilisateur Cloud Data Fusion qui conçoit et exécute des pipelines.

Facultatif : Étape 5 : Créer des services OData personnalisés

Vous pouvez personnaliser la façon dont les données sont extraites en créant des services OData personnalisés dans SAP :

  • Pour créer des services OData personnalisés, consultez Créer des services OData pour les débutants.
  • Pour créer des services OData personnalisés à l'aide de vues CDS (Core Data Services), consultez Créer un service OData et exposer des vues CDS en tant que service OData.
  • Tout service OData personnalisé doit être compatible avec les requêtes $top, $skip et $count. Ces requêtes permettent au plug-in de partitionner les données pour une extraction séquentielle et parallèle. Si elles sont utilisées, les requêtes $filter, $expand ou $select doivent également être acceptées.

Configurer Cloud Data Fusion

Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP. Pour les instances privées, configurez l'appairage de réseaux. Une fois l'appairage de réseaux établi avec le projet hébergeant les systèmes SAP, aucune configuration supplémentaire n'est requise pour la connexion à votre instance Cloud Data Fusion. Le système SAP et l'instance Cloud Data Fusion doivent se trouver dans le même projet.

Étape 1 : Configurer votre environnement Cloud Data Fusion

Pour configurer votre environnement Cloud Data Fusion pour le plug-in, procédez comme suit :

  1. Accédez aux détails de l'instance :

    1. Dans la Google Cloud console, accédez à la page Cloud Data Fusion.

    2. Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.

      Accéder à la page "Instances"

  2. Vérifiez que l'instance a été mise à niveau vers la version 6.4.0 ou ultérieure. Si l'instance utilise une version antérieure, vous devez la mettre à niveau.

  3. Cliquez sur Afficher l'instance. Lorsque l'interface utilisateur de Cloud Data Fusion s'ouvre, cliquez sur Hub.

  4. Sélectionnez l'onglet SAP > SAP OData.

    Si l'onglet SAP n'est pas visible, consultez la section Résoudre les problèmes d'intégration de SAP.

  5. Cliquez sur Déployer le plug-in SAP OData.

    Le plug-in apparaît désormais dans le menu Source de la page Studio.

    OData dans le menu &quot;Source&quot; de la page Data Fusion Studio

Étape 2 : Configurer le plug-in

Le plug-in SAP OData lit le contenu d'une source de données SAP.

Pour filtrer les enregistrements, vous pouvez configurer les propriétés suivantes sur la page "SAP OData Properties" (Propriétés SAP OData).

Nom de propriété Description
Basic
Nom de référence Nom utilisé pour identifier de manière unique cette source pour la traçabilité ou l'annotation de métadonnées.
URL de base SAP OData URL de base SAP Gateway OData (utilisez le chemin d'URL complet, semblable à https://ADDRESS:PORT/sap/opu/odata/sap/).
Version OData Version SAP OData compatible.
Nom du service Nom du service SAP OData à partir duquel vous souhaitez extraire une entité.
Nom de l'entité Nom de l'entité extraite, par exemple Results. Vous pouvez utiliser un préfixe, tel que C_PurchaseOrderItemMoni/Results. Ce champ accepte les paramètres "Catégorie" et "Entité". Exemples :
  • Paramètre pour la catégorie : C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results
  • Un paramètre pour l'entité : C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD')
  • Paramètre pour la catégorie et l'entité : C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Identifiants*
Type SAP De base (avec nom d'utilisateur et mot de passe)
Nom d'utilisateur de connexion SAP Nom d'utilisateur SAP
Recommandé : Si le nom d'utilisateur de connexion SAP change régulièrement, utilisez une macro.
Mot de passe de connexion SAP Mot de passe utilisateur SAP
Recommandé : Utilisez des macros sécurisées pour les valeurs sensibles, telles que les mots de passe.
Certificat client X.509 SAP
(voir Utiliser des certificats client X.509 sur le serveur d'applications SAP NetWeaver pour ABAP).
ID du projet GCP Identifiant unique global pour votre projet. Ce champ est obligatoire si le champ Chemin d'accès Cloud Storage du certificat X.509 ne contient pas de valeur de macro.
Chemin d'accès GCS Chemin d'accès au bucket Cloud Storage contenant le certificat X.509 importé par l'utilisateur, qui correspond au serveur d'application SAP pour les appels sécurisés en fonction de vos besoins (voir l'étape Sécuriser la connexion).
Phrase secrète Phrase secrète correspondant au certificat X.509 fourni.
Bouton Obtenir un schéma Génère un schéma basé sur les métadonnées de SAP, avec mappage automatique des types de données SAP sur les types de données Cloud Data Fusion correspondants (même fonctionnalité que le bouton Valider).
Avancé
Options de filtrage Indique la valeur qu'un champ doit avoir pour être lu. Utilisez cette condition de filtre pour limiter le volume de données de sortie. Par exemple, `Price Gt 200` sélectionne les enregistrements dont la valeur du champ "Prix" est supérieure à 200. (Consultez Obtenir la liste des colonnes filtrables pour un service de catalogue SAP.)
Sélectionner des champs Champs à conserver dans les données extraites (par exemple, "Catégorie", "Prix", "Nom", "Fournisseur/Adresse").
Développer les champs Liste des champs complexes à développer dans les données de sortie extraites (par exemple, "Products/Suppliers").
Nombre de lignes à ignorer Nombre total de lignes à ignorer (par exemple, 10).
Nombre de lignes à extraire Nombre total de lignes à extraire.
Nombre de divisions à générer Nombre de fractionnements utilisés pour partitionner les données d'entrée. Plus il y a de partitions, plus le niveau de parallélisme est élevé, mais plus les ressources et la surcharge nécessaires sont importantes.
 Si vous ne spécifiez pas de valeur, le plug-in choisit une valeur optimale (recommandée).
Taille du lot Nombre de lignes à récupérer dans chaque appel réseau vers SAP. Une petite taille entraîne des appels réseau fréquents, ce qui répète les frais généraux associés. Une taille importante peut ralentir la récupération des données et entraîner une utilisation excessive des ressources dans SAP. Si la valeur est définie sur 0, la valeur par défaut est 2500 et la limite de lignes à extraire dans chaque lot est 5000.
Délai avant expiration de la lecture Temps d'attente (en secondes) pour le service SAP OData. La valeur par défaut est 300. Pour ne pas définir de limite de temps, définissez la valeur sur 0.

* Les macros sont acceptées dans les propriétés des identifiants. Vous pouvez les utiliser pour gérer vos connexions SAP de manière centralisée. Par exemple, vous pouvez définir des valeurs au moment de l'exécution à l'aide de paramètres d'exécution ou d'un plug-in Argument Setter.

Types OData acceptés

Le tableau suivant présente le mappage entre les types de données OData v2 utilisés dans les applications SAP et les types de données Cloud Data Fusion.

Type OData Description (SAP) Type de données Cloud Data Fusion
Numérique
SByte Valeur entière signée de 8 bits int
Byte Valeur entière non signée de 8 bits int
Int16 Valeur entière signée de 16 bits int
Int32 Valeur entière signée de 32 bits int
Int64 Valeur entière signée de 64 bits à laquelle est ajouté le caractère "L"
Exemples : 64L, -352L		 long
Unique Nombre à virgule flottante avec une précision de sept chiffres, pouvant représenter des valeurs dans une plage approximative de ± 1,18e-38 à ± 3,40e+38, auquel est ajouté le caractère "f".
Exemple : 2.0f		 float
Double Nombre à virgule flottante avec une précision de 15 chiffres, pouvant représenter des valeurs avec des plages approximatives de ± 2,23e-308 à ± 1,79e+308, auquel est ajouté le caractère "d".
Exemples : 1E+10d, 2.029d, 2.0d		 double
Decimal Valeurs numériques avec une précision et une échelle fixes décrivant une valeur numérique comprise entre -10^255+1 et 10^255-1, suivies du caractère "M" ou "m"
Exemple : 2.345M		 decimal
Caractère
Guid Valeur d'identifiant unique de 16 octets (128 bits), commençant par le caractère "guid".
Exemple : guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'		 string
Chaîne Données de type caractères de longueur fixe ou variable encodées en UTF-8 string
Byte
Binaire Données binaires de longueur fixe ou variable, commençant par "X" ou "binary" (les deux sont sensibles à la casse)
Exemple : X'23AB', binary'23ABFF'		 bytes
Logique
Booléen Concept mathématique de la logique à deux valeurs boolean
Date/Heure
Date/Heure Date et heure avec des valeurs comprises entre le 1er janvier 1753 à 00:00:00 et le 31 décembre 9999 à 23:59:59 timestamp
Heure Heure de la journée avec des valeurs comprises entre 0:00:00.x et 23:59:59.y, où "x" et "y" dépendent de la précision time
DateTimeOffset Date et heure sous forme de décalage, en minutes par rapport à GMT, avec des valeurs allant de 00:00:00 le 1er janvier 1753 à 23:59:59 le 31 décembre 9999 timestamp
Complexe
Propriétés de navigation et autres propriétés (multiplicité = *) Collections d'un type, avec une multiplicité un à plusieurs. array,
string,
int.
Propriétés (multiplicité = 0,1) Références à d'autres types complexes avec une multiplicité de un à un record

Validation

Cliquez sur Valider en haut à droite ou sur Obtenir un schéma.

Le plug-in valide les propriétés et génère un schéma basé sur les métadonnées de SAP. Il mappe automatiquement les types de données SAP sur les types de données Cloud Data Fusion correspondants.

Exécuter un pipeline de données

  1. Après avoir déployé le pipeline, cliquez sur Configurer dans le panneau supérieur central.
  2. Sélectionnez Ressources.
  3. Si nécessaire, modifiez le processeur d'exécuteur et la mémoire en fonction de la taille globale des données et du nombre de transformations utilisées dans le pipeline.
  4. Cliquez sur Enregistrer.
  5. Pour démarrer le pipeline de données, cliquez sur Exécuter.

Performances

Le plug-in utilise les fonctionnalités de parallélisation de Cloud Data Fusion. Les instructions suivantes vous aideront à configurer l'environnement d'exécution afin de fournir suffisamment de ressources au moteur d'exécution pour atteindre le degré de parallélisme et de performances attendu.

Optimiser la configuration du plug-in

Recommandation : Laissez les champs Nombre de divisions à générer et Taille du lot vides (non spécifiés), sauf si vous connaissez les paramètres de mémoire de votre système SAP.

Pour améliorer les performances lorsque vous exécutez votre pipeline, utilisez les configurations suivantes :

  • Number of Splits to Generate (Nombre de divisions à générer) : des valeurs comprises entre 8 et 16 sont recommandées. Toutefois, elles peuvent atteindre 32, voire 64, avec les configurations appropriées côté SAP (allouer les ressources de mémoire appropriées pour les processus de travail dans SAP). Cette configuration améliore le parallélisme côté Cloud Data Fusion. Le moteur d'exécution crée le nombre de partitions spécifié (et les connexions SAP requises) lors de l'extraction des enregistrements.

    • Si le service de configuration (fourni avec le plug-in lorsque vous importez le fichier de transport SAP) est disponible, le plug-in utilise par défaut la configuration du système SAP. Les fractionnements représentent 50 % des processus de travail de dialogue disponibles dans SAP. Remarque : Le service de configuration ne peut être importé que depuis les systèmes S4HANA.

    • Si le service de configuration n'est pas disponible, la valeur par défaut est 7 fractionnements.

    • Dans les deux cas, si vous spécifiez une valeur différente, celle que vous fournissez prévaut sur la valeur de fractionnement par défaut,sauf si elle est plafonnée par les processus de boîte de dialogue disponibles dans SAP, moins deux fractionnements.

    • Si le nombre d'enregistrements à extraire est inférieur à 2500, le nombre de fractionnements est 1.

  • Taille du lot : nombre d'enregistrements à récupérer dans chaque appel réseau vers SAP. Une taille de lot plus petite entraîne une fréquence plus élevée d'appels réseau. Par défaut, le nombre minimal est de 1000 et le nombre maximal de 50000.

Pour en savoir plus, consultez Limites des entités OData.

Paramètres de ressources Cloud Data Fusion

Recommandé : Utilisez 1 CPU et 4 Go de mémoire par exécuteur (cette valeur s'applique à chaque processus d'exécuteur). Définissez ces paramètres dans la boîte de dialogue Configurer > Ressources.

Optimiser les paramètres de ressources dans la fenêtre de configuration de Cloud Data Fusion

Paramètres du cluster Managed Service pour Apache Spark

Recommandé : attribuez au minimum un nombre total de processeurs (sur les nœuds de calcul) supérieur au nombre souhaité de divisions (consultez la section Configuration du plug-in).

Chaque nœud de calcul doit disposer d'au moins 6,5 Go de mémoire allouée par processeur dans les paramètres Managed Service for Apache Spark (ce qui se traduit par au moins 4 Go disponibles par Executor Cloud Data Fusion). Vous pouvez conserver les valeurs par défaut des autres paramètres.

Recommandé : Utilisez un cluster Managed Service for Apache Spark persistant pour réduire le temps d'exécution du pipeline de données (cette opération élimine l'étape de provisionnement qui peut prendre quelques minutes ou plus). Définissez ce paramètre dans la section de configuration de Compute Engine.

Exemples de configurations et de débit

Les sections suivantes décrivent des exemples de configurations de développement et de production, ainsi que le débit.

Exemples de configurations de développement et de test

  • Cluster Managed Service pour Apache Spark avec huit nœuds de calcul, chacun avec quatre processeurs et 26 Go de mémoire. Générez jusqu'à 28 splits.
  • Cluster Managed Service pour Apache Spark avec deux nœuds de calcul, chacun disposant de huit processeurs et de 52 Go de mémoire. Générez jusqu'à 12 partitions.

Exemples de configurations de production et de débit

  • Cluster Managed Service pour Apache Spark avec huit nœuds de calcul, chacun disposant de huit processeurs et de 32 Go de mémoire. Générez jusqu'à 32 splits (la moitié des processeurs disponibles).
  • Cluster Managed Service pour Apache Spark avec 16 nœuds de calcul, chacun avec 8 processeurs et 32 Go de mémoire. Générez jusqu'à 64 splits (la moitié des processeurs disponibles).

Exemple de débit pour un système source de production SAP S4HANA 1909

Le tableau suivant présente un exemple de débit. Le débit affiché est sans options de filtrage, sauf indication contraire. Lorsque vous utilisez des options de filtrage, le débit est réduit.

Taille de lot Divisions Service OData Nombre total de lignes Lignes extraites Débit (lignes par seconde)
1000 4 ZACDOCA_CDS 5,37 M 5,37 M 1069
2500 10 ZACDOCA_CDS 5,37 M 5,37 M 3384
5000 8 ZACDOCA_CDS 5,37 M 5,37 M 4630
5000 9 ZACDOCA_CDS 5,37 M 5,37 M 4817

Exemple de débit pour un système source de production cloud SAP S/4HANA

Taille de lot Divisions Service OData Nombre total de lignes Lignes extraites Débit (Go/heure)
2500 40 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 25.48
5000 50 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 26.78

Informations relatives à l'assistance

Le plug-in est compatible avec les cas d'utilisation suivants.

Produits et versions SAP compatibles

  • Les sources compatibles incluent SAP S4/HANA 1909 et versions ultérieures, S4/HANA sur SAP Cloud et toute application SAP capable d'exposer des services OData.

  • Le fichier de transport contenant le service OData personnalisé pour l'équilibrage de charge des appels à SAP doit être importé dans S4/HANA 1909 et versions ultérieures. Le service permet de calculer le nombre de fractionnements (partitions de données) que le plug-in peut lire en parallèle (voir Nombre de fractionnements).

  • La version 2 d'OData est compatible.

  • Le plug-in a été testé avec des serveurs SAP S/4HANA déployés sur Google Cloud.

Les services de catalogue SAP OData sont compatibles avec l'extraction.

Le plug-in est compatible avec les types de source de données suivants :

  • Données de transaction
  • Vues CDS exposées via OData

  • Données de référence

    • Attributs
    • Textes
    • Hiérarchies

Notes SAP

Aucune note SAP n'est requise avant l'extraction, mais le système SAP doit disposer de SAP Gateway. Pour en savoir plus, consultez la note 1560585 (ce site externe nécessite une connexion SAP).

Limites concernant le volume de données ou la largeur des enregistrements

Il n'y a pas de limite définie pour le volume de données extraites. Nous avons testé jusqu'à 6 millions de lignes extraites en un seul appel, avec une largeur d'enregistrement de 1 Ko. Pour SAP S4/HANA sur le cloud, nous avons testé jusqu'à 10 millions de lignes extraites en un seul appel, avec une largeur d'enregistrement de 1 Ko.

Débit attendu du plug-in

Pour un environnement configuré conformément aux consignes de la section Performances, le plug-in peut extraire environ 38 Go par heure. Les performances réelles peuvent varier en fonction de la charge du système Cloud Data Fusion/SAP ou du trafic réseau.

Extraction delta (données modifiées)

L'extraction delta n'est pas disponible.

Scénarios d'erreur

Au moment de l'exécution, le plug-in écrit des entrées de journal dans le journal de pipeline de données Cloud Data Fusion. Ces entrées sont précédées du préfixe CDF_SAP pour faciliter l'identification.

Au moment de la conception, lorsque vous validez les paramètres du plug-in, les messages s'affichent dans l'onglet Propriétés et sont mis en surbrillance en rouge.

Voici quelques exemples d'erreurs :

ID du message Message Action recommandée
Aucun Required property 'CONNECTION_PROPERTY' for connection type 'CONNECTION_PROPERTY_SETTING'. Saisissez une valeur réelle ou une variable de macro.
Aucun Invalid value for property 'PROPERTY_NAME'. Saisissez un nombre entier non négatif (0 ou supérieur, sans décimal) ou une variable de macro.
CDF_SAP_ODATA_01505 Failed to prepare the Cloud Data Fusion output schema. Please check the provided runtime macros value. Assurez-vous que les valeurs de macro fournies sont correctes.
N/A SAP X509 certificated 'STORAGE_PATH' is missing. Please make sure the required X509 certificate is uploaded to your specified Cloud Storage bucket 'BUCKET_NAME'. Assurez-vous que le chemin d'accès Cloud Storage fourni est correct.
CDF_SAP_ODATA_01532 Code d'erreur générique lié aux problèmes de connectivité SAP OData
Failed to call given SAP OData service. Root Cause: MESSAGE.		 Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01534 Code d'erreur générique lié à une erreur du service SAP OData.
Service validation failed. Root Cause: MESSAGE.		 Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01503 Failed to fetch total available record count from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01506 No records found to extract in SAP_ODATA_SERVICE_ENTITY_NAME. Please ensure that the provided entity contains records. Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01537 Failed to process records for SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01536 Failed to pull records from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01504 Failed to generate the encoded metadata string for the given OData service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01533 Failed to decode the metadata from the given encoded metadata string for service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.

Étapes suivantes