מקור SAP OData batch

במדריך הזה מוסבר איך לפרוס, להגדיר ולהפעיל צינורות נתונים שמשתמשים בפלאגין SAP OData.

אפשר להשתמש ב-SAP כמקור לחילוץ נתונים מבוסס-אצווה ב-Cloud Data Fusion באמצעות Open Data Protocol‏ (OData). התוסף SAP OData עוזר לכם להגדיר ולהפעיל העברות נתונים משירותי קטלוג SAP OData בלי לכתוב קוד.

למידע נוסף על שירותי SAP OData Catalog ועל מקורות נתונים נתמכים, אפשר לעיין בפרטי התמיכה. מידע נוסף על SAP ב-Google Cloudזמין בסקירה הכללית על SAP ב- Google Cloud.

מטרות

  • מגדירים את מערכת SAP ERP (מפעילים את DataSources ב-SAP).
  • פורסים את הפלאגין בסביבת Cloud Data Fusion.
  • מורידים את ה-SAP transport מ-Cloud Data Fusion ומתקינים אותו ב-SAP.
  • שימוש ב-Cloud Data Fusion וב-SAP OData כדי ליצור צינורות נתונים לשילוב נתוני SAP.

לפני שמתחילים

כדי להשתמש בתוסף הזה, נדרש ידע בתחומים הבאים:

  • פיתוח צינורות עיבוד נתונים ב-Cloud Data Fusion
  • ניהול גישה באמצעות IAM
  • הגדרה של מערכות תכנון משאבים ארגוני (ERP) של SAP Cloud ומערכות מקומיות

תפקידי משתמשים

The tasks on this page are performed by people with the following roles in Google Cloud or in their SAP system:

User type Description
Google Cloud Admin Users assigned this role are administrators of Google Cloud accounts.
Cloud Data Fusion User Users assigned this role are authorized to design and run data pipelines. They are granted, at minimum, the Data Fusion Viewer ( roles/datafusion.viewer) role. If you are using role-based access control, you might need additional roles.
SAP Admin Users assigned this role are administrators of the SAP system. They have access to download software from the SAP service site. It is not an IAM role.
SAP User Users assigned this role are authorized to connect to an SAP system. It is not an IAM role.

דרישות מוקדמות לחילוץ OData

  1. צריך להפעיל את שירות קטלוג OData במערכת SAP.

  2. הנתונים צריכים להיות מאוכלסים בשירות OData.

דרישות מוקדמות למערכת SAP

  • ב-SAP NetWeaver 7.02 עד SAP NetWeaver גרסה 7.31, הפונקציות של OData ו-SAP Gateway מסופקות עם רכיבי התוכנה הבאים של SAP:

    • IW_FND
    • GW_CORE
    • IW_BEP

  • בגרסה 7.40 ואילך של SAP NetWeaver, כל הפונקציות זמינות ברכיב SAP_GWFND, שצריך להפוך לזמין ב-SAP NetWeaver.

אופציונלי: התקנת קובצי העברה של SAP

רכיבי SAP שנדרשים לאיזון עומסים של קריאות ל-SAP מועברים כקובצי טרנספורט של SAP שמאורכבים כקובץ ZIP (בקשת טרנספורט אחת, שמורכבת מקובץ cofile אחד ומקובץ נתונים אחד). אתם יכולים להשתמש בשלב הזה כדי להגביל כמה קריאות מקבילות ל-SAP, על סמך תהליכי העבודה הזמינים ב-SAP.

הורדת קובץ ה-ZIP זמינה כשפורסים את הפלאגין ב-Cloud Data Fusion Hub.

כשמייבאים את קובצי התעבורה ל-SAP, נוצרים פרויקטים של SAP OData:

  • פרויקטים של OData

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO

  • ICF service node: GOOG

כדי להתקין את ה-SAP transport, מבצעים את השלבים הבאים:

שלב 1: העלאת הקבצים של בקשת התחבורה

  1. מתחברים למערכת ההפעלה של מופע SAP.
  2. משתמשים בקוד העסקה AL11 של SAP כדי לקבל את הנתיב של התיקייה DIR_TRANS. בדרך כלל הנתיב הוא /usr/sap/trans/.
  3. מעתיקים את קובצי ה-cofiles לתיקייה DIR_TRANS/cofiles.
  4. מעתיקים את קובצי הנתונים לתיקייה DIR_TRANS/data.
  5. מגדירים את המשתמש והקבוצה של הנתונים ושל קובץ ה-cofile ל-<sid>adm ול-sapsys.

שלב 2: ייבוא קובצי בקשות התובלה

The SAP administrator can import the transport request files by using one of the following options:

Option 1: Import the transport request files by using the SAP transport management system
  1. Log in to the SAP system as an SAP administrator.
  2. Enter the transaction STMS.
  3. Click Overview > Imports.
  4. In the Queue column, double-click the current SID.
  5. Click Extras > Other requests > Add.
  6. Select the transport request ID and click Continue.
  7. Select the transport request in the import queue, and then click Request > Import.
  8. Enter the Client number.

  9. On the Options tab, select Overwrite originals and Ignore invalid component version (if available).

    (Optional) To schedule a reimport of the transports for a later time, select Leave transport requests in queue for later import and Import transport requests again. This is useful for SAP system upgrades and backup restorations.

  10. Click Continue.

  11. To verify the import, use any transactions, such as SE80 and SU01.

Option 2: Import the transport request files at the operating system level
  1. Log in to the SAP system as an SAP system administrator.

  2. Add the appropriate requests to the import buffer by running the following command:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    For example: tp addtobuffer IB1K903958 DD1

  3. Import the transport requests by running the following command:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Replace NNN with the client number. For example: tp import IB1K903958 DD1 client=800 U1238

  4. Verify that the function module and authorization roles were imported successfully by using any appropriate transactions, such as SE80 and SU01.

קבלת רשימה של עמודות שניתנות לסינון בשירות קטלוג של SAP

אפשר להשתמש רק בחלק מהעמודות של מקור הנתונים לתנאי סינון (זו מגבלה של SAP).

כדי לקבל רשימה של עמודות שניתנות לסינון בשירות קטלוג של SAP:

  1. נכנסים למערכת SAP.
  2. עוברים אל קוד הטרנזקציה SEGW.

  3. מזינים את שם פרויקט OData, שהוא מחרוזת משנה של שם השירות. לדוגמה:

    • שם השירות: MM_PUR_POITEMS_MONI_SRV
    • שם הפרויקט: MM_PUR_POITEMS_MONI

  4. לוחצים על Enter.

  5. עוברים אל הישות שרוצים לסנן ולוחצים על מאפיינים.

    אפשר להשתמש בשדות שמוצגים במאפיינים כמסננים. הפעולות הנתמכות הן שווה ובין (טווח).

    סינון מאפיינים ב-SAP

רשימה של אופרטורים שנתמכים בשפת הביטויים מופיעה במסמכי הקוד הפתוח של OData: URI Conventions (OData Version 2.0).

דוגמה ל-URI עם מסננים:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

הגדרת מערכת SAP ERP

הפלאגין SAP OData משתמש בשירות OData שמופעל בכל שרת SAP שממנו הנתונים מחולצים. שירות ה-OData הזה יכול להיות שירות סטנדרטי שסופק על ידי SAP או שירות OData מותאם אישית שפותח במערכת SAP שלכם.

שלב 1: התקנת SAP Gateway 2.0

אדמין SAP (Basis) צריך לוודא שהרכיבים של SAP Gateway 2.0 זמינים במערכת המקור של SAP, בהתאם לגרסת NetWeaver. למידע נוסף על התקנת SAP Gateway 2.0, צריך להיכנס ל-SAP ONE Support Launchpad ולעיין בהערה 1569624 (נדרשת כניסה) .

שלב 2: הפעלת שירות OData

מפעילים את שירות ה-OData הנדרש במערכת המקור. מידע נוסף זמין במאמר בנושא שרת קצה: הפעלת שירותי OData.

שלב 3: יצירת תפקיד הרשאה

כדי להתחבר למקור הנתונים, צריך ליצור תפקיד הרשאה עם ההרשאות הנדרשות ב-SAP, ואז להעניק אותו למשתמש SAP.

כדי ליצור את תפקיד ההרשאה ב-SAP, מבצעים את השלבים הבאים:

  1. ב-SAP GUI, מזינים את קוד הטרנזקציה PFCG כדי לפתוח את החלון Role Maintenance (תחזוקת תפקידים).

  2. בשדה Role, מזינים שם לתפקיד.

    לדוגמה: ZODATA_AUTH

  3. לוחצים על Single Role (תפקיד יחיד).

    ייפתח החלון Create Roles (יצירת תפקידים).

  4. בשדה תיאור, מזינים תיאור ולוחצים על שמירה.

    לדוגמה: Authorizations for SAP OData plugin.

  5. לוחצים על הכרטיסייה הרשאות. שם החלון ישתנה לשינוי תפקידים.

  6. בקטע עריכת נתוני ההרשאה ויצירת פרופילים, לוחצים על שינוי נתוני ההרשאה.

    נפתח החלון בחירת תבנית.

  7. לוחצים על לא לבחור תבניות.

    נפתח החלון שינוי התפקיד: הרשאות.

  8. לוחצים על ידנית.

  9. צריך לספק את ההרשאות שמוצגות בטבלת ההרשאות הבאה של SAP.

  10. לוחצים על Save.

  11. כדי להפעיל את תפקיד ההרשאה, לוחצים על סמל היצירה.

הרשאות SAP

מחלקת אובייקטים טקסט של מחלקת אובייקט אובייקט הרשאה טקסט של אובייקט הרשאה הרשאה טקסט ערך
AAAB אובייקטים של הרשאה חוצת-אפליקציות S_SERVICE בדיקה בתחילת השימוש בשירותים חיצוניים SRV_NAME שם של תוכנית, טרנזקציה או מודול פונקציה *
AAAB אובייקטים של הרשאה חוצת-אפליקציות S_SERVICE בדיקה בתחילת השימוש בשירותים חיצוניים SRV_TYPE סוג דגל הבדיקה וערכי ברירת המחדל של ההרשאה HT
FI חשבונאות פיננסית F_UNI_HIER גישה אוניברסלית להיררכיה ACTVT פעילות 03
FI חשבונאות פיננסית F_UNI_HIER גישה אוניברסלית להיררכיה HRYTYPE סוג ההיררכיה *
FI חשבונאות פיננסית F_UNI_HIER גישה אוניברסלית להיררכיה HRYID מזהה היררכיה *

כדי לתכנן ולהריץ צינור נתונים ב-Cloud Data Fusion (כמשתמש ב-Cloud Data Fusion), צריך פרטי כניסה של משתמש SAP (שם משתמש וסיסמה) כדי להגדיר את הפלאגין להתחברות למקור הנתונים.

המשתמש ב-SAP צריך להיות מסוג Communications או Dialog. כדי להימנע משימוש במשאבי דיאלוג של SAP, מומלץ להשתמש בסוג Communications. אפשר ליצור משתמשים באמצעות קוד העסקה SU01 של SAP.

אופציונלי: שלב 4: מאבטחים את החיבור

אתם יכולים לאבטח את התקשורת ברשת בין מכונת Cloud Data Fusion הפרטית שלכם לבין SAP.

כדי לאבטח את החיבור, פועלים לפי השלבים הבאים:

  1. האדמין של SAP צריך ליצור אישור X509. כדי ליצור את האישור, אפשר לעיין במאמר יצירת PSE של שרת SSL.
  2. האדמין צריך להעתיק את קובץ X509 לקטגוריה של Cloud Storage שניתן לקרוא ממנה באותו פרויקט כמו מופע Cloud Data Fusion, ולתת את נתיב הקטגוריה למשתמש Cloud Data Fusion, שמזין אותו כשהוא מגדיר את הפלאגין. Google Cloud
  3. האדמין צריך להעניק הרשאת קריאה לקובץ X509 למשתמש Cloud Data Fusion שמתכנן ומריץ צינורות. Google Cloud

אופציונלי: שלב 5: יצירת שירותי OData בהתאמה אישית

אתם יכולים להתאים אישית את אופן חילוץ הנתונים על ידי יצירת שירותי OData מותאמים אישית ב-SAP:

  • כדי ליצור שירותי OData בהתאמה אישית, אפשר לעיין במאמר יצירה של שירותי OData למתחילים.
  • כדי ליצור שירותי OData בהתאמה אישית באמצעות תצוגות של שירותי נתונים מרכזיים (CDS), אפשר לעיין במאמר איך ליצור שירות OData ולחשוף תצוגות CDS כשירות OData.
  • כל שירות OData מותאם אישית חייב לתמוך בשאילתות $top, $skip ו-$count. השאילתות האלה מאפשרות לתוסף לחלק את הנתונים כדי לבצע חילוץ עוקב ומקביל. אם משתמשים בפרמטר הזה, צריך לתמוך גם בשאילתות $filter, $expand או $select.

הגדרה של Cloud Data Fusion

מוודאים שהתקשורת מופעלת בין מכונת Cloud Data Fusion לבין שרת SAP. למכונות פרטיות, צריך להגדיר קישור בין רשתות שכנות. אחרי שיוצרים שותפות בין רשתות עם הפרויקט שבו מתארחים מערכות SAP, לא נדרש שום הגדרה נוספת כדי להתחבר למופע Cloud Data Fusion. מערכת SAP ומופע Cloud Data Fusion צריכים להיות באותו פרויקט.

שלב 1: הגדרת סביבת Cloud Data Fusion

כדי להגדיר את סביבת Cloud Data Fusion עבור הפלאגין:

  1. עוברים לפרטי המופע:

    1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

    2. לוחצים על Instances (מכונות), ואז לוחצים על שם המכונה כדי לעבור לדף Instance details (פרטי המכונה).

      כניסה לדף Instances

  2. בודקים שהמופע שודרג לגרסה 6.4.0 ואילך. אם המופע הוא בגרסה קודמת, צריך לשדרג אותו.

  3. לוחצים על View instance. כשממשק המשתמש של Cloud Data Fusion נפתח, לוחצים על Hub.

  4. בוחרים בכרטיסייה SAP > SAP OData.

    אם הכרטיסייה SAP לא מוצגת, אפשר להיעזר במאמר פתרון בעיות בשילוב עם SAP.

  5. לוחצים על Deploy SAP OData Plugin (פריסת פלאגין SAP OData).

    הפלאגין מופיע עכשיו בתפריט מקור בדף Studio.

    ‫OData בתפריט Source בדף Data Fusion Studio

שלב 2: הגדרת הפלאגין

הפלאגין SAP OData קורא את התוכן של SAP DataSource.

כדי לסנן את הרשומות, אפשר להגדיר את המאפיינים הבאים בדף SAP OData Properties.

שם המאפיין תיאור
Basic
שם הפניה השם שמשמש לזיהוי ייחודי של המקור הזה לצורך מעקב אחר מקורות נתונים או הוספת הערות למטא נתונים.
כתובת ה-URL הבסיסית של SAP OData כתובת ה-URL הבסיסית של SAP Gateway OData (צריך להשתמש בנתיב כתובת ה-URL המלא, כמו ב-https://ADDRESS:PORT/sap/opu/odata/sap/).
גרסת OData גרסת SAP OData נתמכת.
שם השירות השם של שירות SAP OData שממנו רוצים לחלץ ישות.
שם הישות שם הישות שמתבצעת ממנה החילוץ, למשל Results. אפשר להשתמש בקידומת, כמו C_PurchaseOrderItemMoni/Results. השדה הזה תומך בפרמטרים של קטגוריה וישות. דוגמאות:
  • פרמטר לקטגוריה: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results
  • פרמטר לישות: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD')
  • פרמטר של קטגוריה וישות: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
פרטי הכניסה*
סוג SAP בסיסי (באמצעות שם משתמש וסיסמה).
שם המשתמש בכניסה ל-SAP שם המשתמש ב-SAP
מומלץ: אם שם המשתמש בכניסה ל-SAP משתנה מדי פעם, כדאי להשתמש ב מאקרו.
SAP Logon Password סיסמת משתמש SAP
מומלץ: כדי להגן על ערכים רגישים, כמו סיסמאות, כדאי להשתמש ב פקודות מאקרו מאובטחות.
‫SAP X.509 Client Certificate
(ראו Using X.509 Client Certificates on SAP NetWeaver Application Server for ABAP.
מזהה פרויקט ב-GCP מזהה ייחודי גלובלי של הפרויקט. השדה הזה הוא חובה אם השדה X.509 Certificate Cloud Storage Path (נתיב ב-Cloud Storage לאישור X.509) לא מכיל ערך מאקרו.
נתיב GCS נתיב קטגוריה של Cloud Storage שמכיל את אישור X.509 שהמשתמש העלה, שמתאים לשרת האפליקציות של SAP לביצוע קריאות מאובטחות בהתאם לדרישות שלכם (ראו את השלב אבטחת החיבור).
ביטוי סיסמה ביטוי הגישה שמתאים לאישור X.509 שסופק.
הלחצן קבלת סכימה מייצר סכימה על סמך המטא-נתונים מ-SAP, עם מיפוי אוטומטי של סוגי הנתונים של SAP לסוגי הנתונים התואמים של Cloud Data Fusion (אותה פונקציונליות כמו של הלחצן Validate).
מתקדמים
אפשרויות הסינון מציין את הערך ששדה צריך להכיל כדי שאפשר יהיה לקרוא אותו. אפשר להשתמש בתנאי הסינון הזה כדי להגביל את נפח נתוני הפלט. לדוגמה: `Price Gt 200` בוחר את הרשומות עם ערך השדה `Price` שגדול מ-`200`. (ראו קבלת רשימה של עמודות שניתנות לסינון בשירות קטלוג של SAP).
בחירת שדות שדות שצריך לשמור בנתונים שחולצו (לדוגמה: קטגוריה, מחיר, שם, ספק/כתובת).
הרחבת השדות רשימה של שדות מורכבים שצריך להרחיב בנתוני הפלט שחולצו (לדוגמה: Products/Suppliers).
מספר השורות לדילוג המספר הכולל של השורות שיש לדלג עליהן (לדוגמה: 10).
מספר השורות לאחזור המספר הכולל של השורות שיש לחלץ.
מספר הפיצולים ליצירה מספר הפיצולים שמשמשים לחלוקת נתוני הקלט למחיצות. יותר מחיצות מגדילות את רמת המקביליות, אבל דורשות יותר משאבים ותקורה.
אם משאירים את השדה ריק, התוסף בוחר ערך אופטימלי (מומלץ).
גודל אצווה מספר השורות לאחזור בכל קריאה לרשת אל SAP. גודל קטן גורם לקריאות תכופות לרשת שחוזרות על התקורה המשויכת. גודל גדול יכול להאט את אחזור הנתונים ולגרום לשימוש מוגזם במשאבים ב-SAP. אם הערך מוגדר כ-0, ערך ברירת המחדל הוא 2500 והמגבלה של השורות לאחזור בכל אצווה היא 5000.
הזמן הקצוב לתפוגת הקריאה הזמן, בשניות, להמתנה לשירות SAP OData. ערך ברירת המחדל הוא 300. כדי שלא תהיה הגבלת זמן, מגדירים את הערך ל-0.

* יש תמיכה בפקודות מאקרו במאפייני האישורים. אפשר להשתמש בהם כדי לנהל באופן מרכזי את החיבורים ל-SAP. לדוגמה, אפשר להגדיר ערכים בזמן הריצה באמצעות פרמטרים של זמן הריצה או באמצעות פלאגין של Argument Setter.

סוגי OData נתמכים

בטבלה הבאה מוצג המיפוי בין סוגי הנתונים של OData v2 שמשמשים באפליקציות של SAP לבין סוגי הנתונים של Cloud Data Fusion.

סוג OData תיאור (SAP) סוג הנתונים ב-Cloud Data Fusion
מספרי
SByte ערך של מספר שלם עם סימן בעל 8 ביטים int
Byte ערך של מספר שלם לא מסומן בן 8 ביט int
Int16 ערך של מספר שלם עם סימן בעל 16 ביטים int
Int32 ערך של מספר שלם עם סימן ב-32 ביט int
Int64 ערך מספר שלם עם סימן באורך 64 ביט, שמוסף לו התו: 'L'
דוגמאות: 64L, -352L		 long
רווק/ה מספר נקודה צפה עם דיוק של 7 ספרות שיכול לייצג ערכים בטווח משוער של ‎± 1.18e -38 עד ‎± 3.40e +38, עם התו 'f' בסוף
דוגמה: 2.0f		 float
כפול מספר נקודה צפה (floating-point) עם דיוק של 15 ספרות שיכול לייצג ערכים עם טווחים משוערים של ‎± 2.23e -308 עד ‎± 1.79e +308, עם התו 'd' בסוף
דוגמאות: 1E+10d, ‏ 2.029d, ‏ 2.0d		 double
עשרוני ערכים מספריים עם דיוק וקנה מידה קבועים שמתארים ערך מספרי בטווח של ‎-10^255 + 1 עד ‎+10^255 -1, עם התו 'M' או 'm' בסוף
דוגמה: 2.345M		 decimal
תו
Guid ערך מזהה ייחודי באורך 16 בייט (128 ביט), שמתחיל בתו: 'guid'
דוגמה: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'		 string
String נתוני תווים באורך קבוע או משתנה בקידוד UTF-8 string
Byte
בינארי נתונים בינאריים באורך קבוע או משתנה, שמתחילים ב-X או ב-binary (שניהם תלויי-רישיות)
דוגמה: X'23AB', binary'23ABFF'		 bytes
Logical
בוליאני מושג מתמטי של לוגיקה עם ערכים בינאריים boolean
תאריך/שעה
תאריך/שעה תאריך ושעה עם ערכים שנעים בין 00:00:00 ב-1 בינואר 1753 לבין 23:59:59 ב-31 בדצמבר 9999 timestamp
שעה השעה ביום, עם ערכים בטווח 00:00:00.x עד 23:59:59.y, כאשר x ו-y תלויים ברמת הדיוק time
DateTimeOffset תאריך ושעה כהפרש, בדקות משעון GMT, עם ערכים בטווח מ-1 בינואר 1753 בשעה 00:00:00 עד 31 בדצמבר 9999 בשעה 23:59:59 timestamp
מורכב
מאפייני ניווט ומאפיינים שאינם ניווט (multiplicity = *) אוספים מסוג מסוים, עם ריבוי של אחד לרבים. array,
string,
int.
מאפיינים (multiplicity = 0.1) הפניות לסוגים מורכבים אחרים עם ריבוי של אחד לאחד record

אימות

בפינה השמאלית העליונה, לוחצים על Validate (אימות) או על Get Schema (קבלת סכימה).

התוסף מאמת את המאפיינים ויוצר סכימה על סמך המטא-נתונים מ-SAP. הוא ממפה באופן אוטומטי את סוגי הנתונים של SAP לסוגי הנתונים התואמים של Cloud Data Fusion.

הפעלת צינור נתונים

  1. אחרי פריסת צינור הנתונים, לוחצים על הגדרה בחלק העליון של החלונית המרכזית.
  2. לוחצים על משאבים.
  3. אם צריך, משנים את הערכים של Executor CPU ושל Memory בהתאם לגודל הנתונים הכולל ולמספר השינויים שנעשה בהם בצינור.
  4. לוחצים על Save.
  5. כדי להפעיל את צינור הנתונים, לוחצים על הפעלה.

ביצועים

התוסף משתמש ביכולות ההקבלה של Cloud Data Fusion. ההנחיות הבאות יעזרו לכם להגדיר את סביבת זמן הריצה כך שתספקו למנוע זמן הריצה מספיק משאבים כדי להשיג את רמת המקביליות והביצועים הרצויה.

אופטימיזציה של הגדרת הפלאגין

מומלץ: אם אתם לא מכירים את הגדרות הזיכרון של מערכת SAP, אל תציינו ערכים בשדות Number of Splits to Generate ו-Batch Size.

כדי לשפר את הביצועים כשמריצים את צינור עיבוד הנתונים, כדאי להשתמש בהגדרות הבאות:

  • מספר הפיצולים ליצירה: מומלץ להזין ערכים בין 8 ל-16. אבל אפשר להגדיל את המספר ל-32 או אפילו ל-64, אם מבצעים הגדרות מתאימות בצד של SAP (הקצאת משאבי זיכרון מתאימים לתהליכי העבודה ב-SAP). ההגדרה הזו משפרת את המקביליות בצד Cloud Data Fusion. מנוע זמן הריצה יוצר את מספר המחיצות שצוין (ואת חיבורי SAP) במהלך חילוץ הרשומות.

    • אם שירות ההגדרות (שמגיע עם הפלאגין כשמייבאים את קובץ התעבורה של SAP) זמין: הפלאגין מוגדר כברירת מחדל להגדרות של מערכת SAP. הפיצולים הם 50% מתהליכי העבודה הזמינים בתיבת הדו-שיח ב-SAP. הערה: אפשר לייבא את שירות ההגדרה רק ממערכות S4HANA.

    • אם שירות ההגדרות לא זמין, ברירת המחדל היא 7 פיצולים.

    • בכל מקרה, אם מציינים ערך שונה, הערך שצוין גובר על ערך ברירת המחדל של הפיצול,למעט המגבלה של תהליכי הדו-שיח הזמינים ב-SAP, פחות שני פיצולים.

    • אם מספר הרשומות לחילוץ קטן מ-2500, מספר הפיצולים הוא 1.

  • גודל אצווה: מספר הרשומות שיאוחזרו בכל קריאה לרשת אל SAP. גודל אצווה קטן יותר גורם להפעלת קריאות תכופות לרשת, שחוזרות על התקורה המשויכת. כברירת מחדל, המספר המינימלי הוא 1000 והמספר המקסימלי הוא 50000.

מידע נוסף זמין במאמר בנושא מגבלות על ישויות OData.

הגדרות משאבים ב-Cloud Data Fusion

מומלץ: שימוש במעבד אחד ובזיכרון בנפח 4GB לכל Executor (הערך הזה רלוונטי לכל תהליך Executor). מגדירים אותם בתיבת הדו-שיח הגדרה > משאבים.

אופטימיזציה של הגדרות המשאבים בחלון ההגדרה של Cloud Data Fusion

הגדרות של אשכול Managed Service for Apache Spark

מומלץ: להקצות לפחות מספר מעבדים (בכל העובדים) שגדול ממספר הפיצולים המיועד (ראו הגדרת התוסף).

לכל תהליך Worker צריך להקצות 6.5 GB או יותר של זיכרון לכל CPU בהגדרות של Managed Service for Apache Spark (כלומר, 4 GB או יותר זמינים לכל מפעיל של Cloud Data Fusion). אפשר להשאיר את שאר ההגדרות בערכי ברירת המחדל.

מומלץ: להשתמש באשכול מתמשך של Managed Service for Apache Spark כדי לקצר את זמן הריצה של צינור עיבוד הנתונים (כך לא צריך לבצע את שלב ההקצאה, שעשוי להימשך כמה דקות או יותר). מגדירים את האפשרות הזו בקטע ההגדרות של Compute Engine.

תצורות לדוגמה ותפוקה

בקטעים הבאים מתוארות דוגמאות להגדרות פיתוח וייצור ולתפוקה.

דוגמאות להגדרות פיתוח ובדיקה

  • אשכול Managed Service for Apache Spark עם 8 עובדים, שלכל אחד מהם יש 4 מעבדים וזיכרון של 26 GB. אפשר ליצור עד 28 פיצולים.
  • אשכול של Managed Service for Apache Spark עם 2 תהליכי עבודה, כל אחד עם 8 מעבדים וזיכרון של 52 GB. אפשר ליצור עד 12 פיצולים.

דוגמאות להגדרות ייצור ולתפוקה

  • אשכול Managed Service for Apache Spark עם 8 עובדים, כל אחד עם 8 מעבדים וזיכרון של 32 GB. אפשר ליצור עד 32 פיצולים (חצי ממספר המעבדים הזמינים).
  • אשכול Managed Service for Apache Spark עם 16 עובדים, כל אחד עם 8 מעבדים וזיכרון של 32 GB. אפשר ליצור עד 64 פיצולים (חצי ממספר המעבדים הזמינים).

דוגמה לנתוני תפוקה של מערכת מקור לייצור SAP S4HANA 1909

בטבלה הבאה מוצגת דוגמה של קצב העברת נתונים. התפוקה שמוצגת היא ללא אפשרויות סינון, אלא אם צוין אחרת. כשמשתמשים באפשרויות סינון, התפוקה יורדת.

גודל האצווה פיצולים שירות OData סך הכול שורות שורות שחולצו תפוקה (שורות לשנייה)
1000 4 ZACDOCA_CDS ‫5.37 מיליון ‫5.37 מיליון 1069
2500 10 ZACDOCA_CDS ‫5.37 מיליון ‫5.37 מיליון 3384
5,000 8 ZACDOCA_CDS ‫5.37 מיליון ‫5.37 מיליון 4630
5,000 9 ZACDOCA_CDS ‫5.37 מיליון ‫5.37 מיליון 4817

דוגמה לנתוני תפוקה של מערכת מקור לייצור בענן SAP S4HANA

גודל האצווה פיצולים שירות OData סך הכול שורות שורות שחולצו תפוקה (GB לשעה)
2500 40 TEST_04_UOM_ODATA_CDS/ ‫201 M ‫10 M 25.48
5,000 50 TEST_04_UOM_ODATA_CDS/ ‫201 M ‫10 M 26.78

פרטי התמיכה

התוסף תומך בתרחישי השימוש הבאים.

גרסאות ומוצרים נתמכים של SAP

  • בין המקורות הנתמכים: SAP S4/HANA מגרסה 1909 ואילך, S4/HANA ב-SAP Cloud וכל אפליקציית SAP שיכולה לחשוף שירותי OData.

  • צריך לייבא ב-S4/HANA 1909 ואילך את קובץ התעבורה שמכיל את שירות ה-OData המותאם אישית לאיזון העומסים של הקריאות ל-SAP. השירות עוזר לחשב את מספר הפיצולים (מחיצות הנתונים) שהתוסף יכול לקרוא במקביל (ראו מספר הפיצולים).

  • יש תמיכה בגרסה 2 של OData.

  • הפלאגין נבדק עם שרתי SAP S/4HANA שנפרסו ב- Google Cloud.

יש תמיכה בשירותי קטלוג SAP OData לחילוץ

התוסף תומך בסוגי מקורות הנתונים הבאים:

  • נתוני עסקאות
  • תצוגות CDS שנחשפות דרך OData

  • נתוני מאסטר

    • מאפיינים
    • טקסטים
    • היררכיות

הערות SAP

לא נדרשים הערות SAP לפני החילוץ, אבל מערכת SAP צריכה לכלול SAP Gateway. מידע נוסף זמין בהערה 1560585 (נדרשת כניסה ל-SAP באתר החיצוני הזה).

מגבלות על נפח הנתונים או רוחב הרשומה

אין מגבלה מוגדרת על נפח הנתונים שחולצו. בדקנו עם עד 6 מיליון שורות שחולצו בקריאה אחת, עם רוחב רשומה של 1KB. במקרה של SAP S4/HANA בענן, בדקנו עד 10 מיליון שורות שחולצו בקריאה אחת, עם רוחב רשומה של 1KB.

התפוקה הצפויה של התוסף

בסביבה שהוגדרה בהתאם להנחיות שבקטע ביצועים, התוסף יכול לחלץ כ-38 GB בשעה. הביצועים בפועל עשויים להשתנות בהתאם לעומסים במערכות Cloud Data Fusion ו-SAP או לתנועת הרשת.

חילוץ דלתא (נתונים שהשתנו)

אין תמיכה בחילוץ דלתא.

תרחישי שגיאה

בזמן הריצה, הפלאגין כותב רשומות ביומן של צינור הנתונים ב-Cloud Data Fusion. כדי לזהות את הרשומות האלה, מופיעה לפניהן הקידומת CDF_SAP.

בזמן העיצוב, כשמאמתים את הגדרות הפלאגין, ההודעות מוצגות בכרטיסייה מאפיינים ומודגשות באדום.

בהמשך מפורטות כמה מהשגיאות:

מזהה הודעה הודעה הפעולה המומלצת
ללא Required property 'CONNECTION_PROPERTY' for connection type 'CONNECTION_PROPERTY_SETTING'. מזינים ערך בפועל או משתנה מאקרו.
ללא Invalid value for property 'PROPERTY_NAME'. מזינים מספר שלם לא שלילי (0 או יותר, ללא עשרוני) או משתנה מאקרו.
CDF_SAP_ODATA_01505 Failed to prepare the Cloud Data Fusion output schema. Please check the provided runtime macros value. מוודאים שהערכים של פקודות המאקרו שסופקו נכונים.
לא רלוונטי SAP X509 certificated 'STORAGE_PATH' is missing. Please make sure the required X509 certificate is uploaded to your specified Cloud Storage bucket 'BUCKET_NAME'. מוודאים שהנתיב של Cloud Storage שצוין נכון.
CDF_SAP_ODATA_01532 קוד שגיאה כללי שקשור לבעיות בקישוריות SAP OData
Failed to call given SAP OData service. Root Cause: MESSAGE.		 בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.
CDF_SAP_ODATA_01534 קוד שגיאה כללי שקשור לשגיאה בשירות SAP OData.
Service validation failed. Root Cause: MESSAGE.		 בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.
CDF_SAP_ODATA_01503 Failed to fetch total available record count from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.
CDF_SAP_ODATA_01506 No records found to extract in SAP_ODATA_SERVICE_ENTITY_NAME. Please ensure that the provided entity contains records. בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.
CDF_SAP_ODATA_01537 Failed to process records for SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.
CDF_SAP_ODATA_01536 Failed to pull records from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.
CDF_SAP_ODATA_01504 Failed to generate the encoded metadata string for the given OData service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.
CDF_SAP_ODATA_01533 Failed to decode the metadata from the given encoded metadata string for service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. בודקים את הסיבה הבסיסית שמוצגת בהודעה ופועלים בהתאם.

המאמרים הבאים