במדריך הזה מוסבר איך לפרוס, להגדיר ולהפעיל צינורות עיבוד נתונים שמשתמשים בפלאגין SAP BW Open Hub Batch Source. אתם יכולים להשתמש ב-SAP כמקור לחילוץ נתונים מבוסס-אצווה ומבוסס-דלתא ב-Cloud Data Fusion באמצעות BW Open Hub Service.
התוסף הזה מאפשר שילוב נתונים בכמות גדולה מאפליקציות SAP עם Cloud Data Fusion. אתם יכולים להגדיר ולהפעיל העברות נתונים בכמות גדולה מ-SAP DataSources בלי לכתוב קוד.
אפשר לעיין בפרטי התמיכה כדי לראות אילו אובייקטים ויישומים של SAP נתמכים לצורך חילוץ. מידע נוסף על הרצת SAP ב- Google Cloudזמין במאמר סקירה כללית על SAP ב- Google Cloud.
מטרות
- מגדירים את מערכת SAP BW.
- פורסים את הפלאגין בסביבת Cloud Data Fusion.
- מורידים את ה-SAP transport מ-Cloud Data Fusion ומתקינים אותו ב-SAP.
- אפשר להשתמש ב-Cloud Data Fusion וב-SAP BW Open Hub Batch Source כדי ליצור צינורות נתונים לשילוב נתונים של SAP.
לפני שמתחילים
כדי להשתמש בתוסף הזה, צריך ידע בתחומים הבאים:
- פיתוח צינורות עיבוד נתונים ב-Cloud Data Fusion
- הגדרת מערכות SAP BW או BW4HANA
תפקידי משתמשים
The tasks on this page are performed by people with the following roles in Google Cloud or in their SAP system:
| User type | Description |
|---|---|
| Google Cloud Admin | Users assigned this role are administrators of Google Cloud accounts. |
| Cloud Data Fusion User | Users assigned this role are authorized to design and run data
pipelines. They are granted, at minimum, the Data Fusion Viewer
(
roles/datafusion.viewer) role. If you are using
role-based access control, you might need
additional
roles.
|
| SAP Admin | Users assigned this role are administrators of the SAP system. They have access to download software from the SAP service site. It is not an IAM role. |
| SAP User | Users assigned this role are authorized to connect to an SAP system. It is not an IAM role. |
דרישות מוקדמות ל-SAP BW
כדי ליצור ולערוך תהליכי העברת נתונים ושרשראות תהליכים, צריך להשתמש ב-SAP HANA Studio.
דרישות מוקדמות ל-Cloud Data Fusion
- כדי ליצור מכונת Cloud Data Fusion, צריך רשת VPC.
- נדרשת מכונת Cloud Data Fusion בגרסה 6.8.0 ואילך, בכל מהדורה.
- צריך להקצות לחשבון השירות שמוקצה למופע של Cloud Data Fusion את התפקידים הנדרשים. מידע נוסף זמין במאמר בנושא הענקת הרשאה למשתמש בחשבון שירות.
- צריך להשתמש בקישור בין רשתות VPC שכנות (peering) בין ה-VPC שלכם לבין רשת ה-VPC המשותפת של Google.
הגדרת מערכת SAP BW
ה-SAP BW Open Hub Batch Source משתמש ב-Remote Function Module (RFM), שצריך להתקין בכל שרת SAP שממנו מתבצעת חילוץ הנתונים. ה-RFM הזה מועבר כ-SAP transport.
כדי להגדיר את מערכת SAP, מבצעים את השלבים הבאים:
- המשתמש ב-Cloud Data Fusion צריך להוריד את קובץ ה-ZIP שמכיל את הנתונים להעברה ב-SAP ולספק אותו לאדמין של SAP. מידע נוסף זמין במאמר בנושא הגדרת Cloud Data Fusion.
- האדמין ב-SAP צריך לייבא את ה-SAP transport למערכת SAP ולאמת את האובייקטים שנוצרו. מידע נוסף זמין במאמר בנושא התקנת ה-SAP transport.
- אופציונלי: משתמש SAP יכול לשנות את אובייקטי ההרשאה הרגילים של SAP בתפקיד
/GOOG/BWOH_CDF_AUTHשסופק, בהתאם למדיניות האבטחה של הארגון שלו.
התקנת קובצי התעבורה של SAP
כדי לעצב ולהפעיל צינורות נתונים ב-Cloud Data Fusion, רכיבי SAP מועברים בקובצי הובלה של SAP, שמאוחסנים בארכיון בקובץ ZIP. ההורדה זמינה כשפורסים את הפלאגין ב-Cloud Data Fusion Hub.
כדי להתקין את ה-SAP transport, מבצעים את השלבים הבאים:
שלב 1: העלאת הקבצים של בקשת התחבורה
- מתחברים למערכת ההפעלה של מופע SAP.
- משתמשים בקוד העסקה
AL11של SAP כדי לקבל את הנתיב של התיקייהDIR_TRANS. בדרך כלל הנתיב הוא/usr/sap/trans/. - מעתיקים את קובצי ה-cofiles לתיקייה
DIR_TRANS/cofiles. - מעתיקים את קובצי הנתונים לתיקייה
DIR_TRANS/data. - מגדירים את המשתמש והקבוצה של הנתונים ושל קובץ ה-cofile ל-
<sid>admול-sapsys.
שלב 2: ייבוא קובצי בקשות התובלה
אדמין SAP יכול לייבא את קובצי בקשת ההעברה באמצעות אחת מהאפשרויות הבאות:
אפשרות 1: ייבוא של קובצי בקשות ההעברה באמצעות מערכת ניהול ההעברות של SAP
- מתחברים למערכת SAP כאדמינים של SAP.
- מזינים את ה-STMS של העסקה.
- לוחצים על סקירה כללית > ייבוא.
- בעמודה 'תור', לוחצים לחיצה כפולה על ה-SID הנוכחי.
- לוחצים על תוספות > בקשות אחרות > הוספה.
- בוחרים את מזהה בקשת ההעברה ולוחצים על המשך.
- בוחרים את בקשת ההעברה בתור לייבוא ולוחצים על בקשה > ייבוא.
- מזינים את מספר הלקוח.
בכרטיסייה אפשרויות, בוחרים באפשרות החלפת המקור ובאפשרות התעלמות מגרסת רכיב לא תקינה.
אופציונלי: בוחרים באפשרות השארת בקשות להעברת נתונים בתור לייבוא מאוחר יותר. כתוצאה מכך, הבקשות ייובאו שוב בסדר הנכון עם הייבוא הבא של כל הבקשות. האפשרות הזו שימושית אם צריך לבצע ייבוא ראשוני לבקשות פרטניות.
לוחצים על Continue.
כדי לוודא שמודול הפונקציות ותפקידי ההרשאה יובאו בהצלחה, אפשר להשתמש בעסקאות מתאימות, כמו
SE80ו-PFCG.
אפשרות 2: ייבוא קבצים של בקשות להעברה ברמת מערכת ההפעלה
- מתחברים למערכת SAP כאדמינים של SAP.
מוסיפים את הבקשות המתאימות למאגר הזמני לייבוא:
tp addtobuffer TRANSPORT_REQUEST_ID SIDלדוגמה:
tp addtobuffer BW1K900054 DD1מייבאים את בקשות התחבורה:
tp import TRANSPORT_REQUEST_ID SID client=NNN U1238מחליפים את
NNNבמספר הלקוח. לדוגמה:tp import BW1K900054 DD1 client=100 U1238כדי לוודא שמודול הפונקציות ותפקידי ההרשאה יובאו בהצלחה, משתמשים בעסקאות מתאימות, כמו
SE80ו-PFCG.
הרשאות SAP נדרשות
כדי להריץ צינור נתונים ב-Cloud Data Fusion, צריך משתמש SAP. משתמש SAP צריך להיות מסוג Communications או Dialog. כדי להימנע משימוש במשאבי דיאלוג של SAP, מומלץ להשתמש בסוג Communications. אדמין של SAP יכול ליצור משתמשים באמצעות קוד העסקה SU01 של SAP.
כדי להגדיר את המחבר ל-SAP, נדרשות הרשאות SAP. אובייקטי הרשאה ספציפיים ל-SAP Connector נשלחים כחלק מבקשת ההעברה. מייבאים את ההעברה של תפקיד ההרשאה כמו שמתואר במאמר התקנת ההעברה של SAP כדי להוסיף את התפקיד למערכת וליצור את התפקיד מקוד העסקה PFCG.
במקרה של אובייקטים סטנדרטיים של הרשאות ב-SAP, הארגון שלכם מנהל את ההרשאות באמצעות מנגנון האבטחה שלו. אתם יכולים לשמור על אובייקטים של הרשאות בהתאם למדיניות האבטחה של הארגון.
יצירת שרשרת תהליכים (PC) ותהליך העברת נתונים (DTP)
כדי ליצור שרשרת תהליכים ותהליך העברת נתונים, צריך מיומנויות נוספות וידע מקצועי.
מושגי רקע
כדי ליצור או לערוך PC ו-DTP, משתמשים ב-SAP HANA Studio.
מיומנויות נדרשות
- השתמשתם בטרנספורמציות כדי להגדיר את זרימת הנתונים בין המקור לבין אובייקט היעד.
- יש לך ידע במושגים בסיסיים של BW ו-HANA, כמו DataStore Objects (DSO), המרות נתונים, InfoCubes, אופטימיזציה של שאילתות, HANA Modeling ותכונות של HANA DB באמצעות HANA Studio. מידע נוסף על המושגים האלה זמין במדריכי SAP בנושא BW ו-HANA.
סוג החילוץ
יש שני מצבים לחילוץ נתונים בתהליך העברת נתונים – מלא ודלתא.
מלא: המערכת בוחרת את כל הנתונים שזמינים במקור על סמך תנאי הסינון שמצוינים ב-DTP. אם מקור הנתונים הוא אחד מספקי המידע הבאים, אפשר להשתמש רק במצב 'חילוץ מלא':
- InfoObjects
- InfoSets
- אובייקטים של DataStore לעדכון ישיר
דלתא: בניגוד ל-InfoPackage, העברת דלתא באמצעות DTP לא דורשת אתחול מפורש. כשמריצים DTP עם מצב החילוץ Delta בפעם הראשונה, כל הבקשות הקיימות עד לזמן החילוץ מאוחזרות מהמקור, ואז מתבצעת אתחול אוטומטי של Delta.
האפשרויות הבאות זמינות ל-DTP עם מצב החילוץ Delta:
- קבלת Delta רק פעם אחת
- קבלת כל הבקשות החדשות לנתונים לפי בקשה
- אחזור עד שלא יהיו יותר נתונים חדשים
גודל החבילה: מספר רשומות הנתונים בחבילת נתונים בודדת. ערך ברירת המחדל הוא 50,000.
יצירת שרשרת תהליכים
כדי ליצור שרשרת תהליכים (PC), משתמשים בעסקה RSPC ב-SAP GUI. מגדירים תהליך התחלה, ואז מוסיפים את שלבי התהליך ואת ה-DTP. מידע נוסף זמין במאמר בנושא יצירת שרשראות תהליכים במסמכי התיעוד של SAP.
ב-HANA Studio יש אפשרויות שונות למעקב אחרי מחשבים ולניהול שלהם. מידע נוסף זמין במאמר בנושא SAP BW/4HANA Process Chain Operations.
יצירת תהליך העברת נתונים באמצעות שרשרת תהליכים
עוברים לתצוגה Planning של שרשרת התהליכים שרוצים להשתמש בה עבור תהליך העברת הנתונים. בתצוגה Planning, אפשר ליצור את ה-DTP באמצעות HANA Studio. מידע נוסף זמין במסמכי התיעוד של SAP בנושא יצירת תהליך העברת נתונים.
מידע נוסף על אפשרויות ההגדרה זמין במאמר All about Data Transfer Process (DTP) – SAP BW 7.
חיבור RFC
כדי להודיע למערכת הקריאה החוזרת (callback), כמו התוסף SAP BW Open Hub Batch Source, שהנתונים זמינים, צריך לעדכן את Process Chain כדי להשתמש ביעד RFC:
ב-SM59, יוצרים חיבור RFC מסוג TCP/IP Connections כדי להודיע למערכת היעד מ-BW אחרי שטעינת הנתונים מסתיימת ב-BI.
מוודאים שמזהה התוכנית מוגדר בחיבור ה-RFC. כדי לעשות זאת, לוחצים לחיצה כפולה על חיבור ה-RFC. מזהה התוכנית חייב להיות ייחודי לכל יעד RFC כדי למנוע התנגשויות של מאזינים בזמן הריצה.
משתמשים בחיבור TCP/IP החדש שנוצר ב-Process Chain כדי לשלוח התראה על השלמת עבודת אצווה של Cloud Data Fusion. בשם של שרשרת התהליכים אין הבחנה בין אותיות רישיות לקטנות. צריך לציין אותו בצורה נכונה באותיות רישיות בתהליך ההטמעה מקצה לקצה.
הצגת היומנים של Process Chains ו-Data Transfer Processes
עוברים אל Tcode : RSPC ולוחצים על Process Chains (שרשראות עיבוד).
לוחצים לחיצה ימנית על שרשרת התהליכים שרוצים להציג את היומנים שלה, ואז לוחצים על הצגת יומנים.
הגדרת אשכול Managed Service for Apache Spark כשמשתמשים ב-Process Chain
כדי להפעיל תקשורת באמצעות שרת RFC, צריך להוסיף את רשומות היציאה של SAP Gateway בקובץ /etc/services בצמתים של אשכול Managed Service for Apache Spark.
מומלץ להשתמש ב-init action,
הסקריפט שיופעל כשהאשכול יאותחל. מידע נוסף זמין במאמר בנושא פעולות אתחול.
יוצרים קובץ סקריפט ושומרים אותו בקטגוריה של Cloud Storage. בדוגמה הבאה מוצג התוכן של קובץ הסקריפט:
gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services
בדוגמה שלמעלה, חשוב לשים לב לנקודות הבאות:
הערכים הם בפורמט
sapgwxx 33xx/tcp, כאשרXXהוא מספר מופע SAP.היציאות של מופעי SAP
00עד04נוספות.
אם אתם משתמשים באשכול זמני, באשכול חדש וקבוע או באשכול קיים וקבוע של Managed Service for Apache Spark, אתם צריכים לבצע את השלבים הבאים.
אשכול זמני של Managed Service for Apache Spark
אם אתם משתמשים באשכול זמני של Managed Service for Apache Spark, מוסיפים את נתיב הסקריפט init למאפייני האשכול:
- בכלי למעקב אחרי משימות, בדף של צינור הנתונים ב-Cloud Data Fusion, לוחצים על Configure.
- בוחרים את פרופיל המחשוב ולוחצים על Customize (התאמה אישית).
- בקטע הגדרות מתקדמות, בשדה פעולות אתחול, מזינים את הנתיב לסקריפט
init.
אשכול חדש ומתמשך של Managed Service for Apache Spark
אם אתם משתמשים באשכול Dataproc מתמשך שנוצר לאחרונה, צריך להשתמש בסקריפט init
בפקודת gcloud כדי ליצור את האשכול. לדוגמה:
gcloud dataproc clusters create cluster-name \
--region=${REGION} \
--initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
... other flags ...
אשכול קיים של שירות מנוהל ל-Apache Spark
אם אתם משתמשים באשכול Dataproc קיים ומתמשך, פועלים לפי השלבים הבאים:
אם האשכול כבר נוצר בלי להשתמש בסקריפט init, צריך להוסיף את הערכים ידנית גם בצומתי Master וגם בצומתי Worker של אשכול Managed Service for Apache Spark.
- מתחברים באמצעות SSH לצומת הראשי ולצומת האשכול.
- מתחברים למזהה משתמש Root.
- עוברים אל
/etc/ופותחים את הקובץ/etc/servicesבכלי לעריכת VI. - מוסיפים את הרשומה
sapgwxx 33xx/tcp. מחליפים אתxxבמספר המכונה של SAP. - שומרים את קובץ ה-
/etc/services.
הגדרה של Cloud Data Fusion
מוודאים שהתקשורת מופעלת בין מופע Cloud Data Fusion לבין שרת SAP. למכונות פרטיות, צריך להגדיר קישור בין רשתות שכנות. אחרי שיוצרים שיוך בין רשתות לפרויקט שבו מתארחים מערכות SAP, לא נדרש שום תהליך הגדרה נוסף כדי להתחבר למופע Cloud Data Fusion. מערכת SAP ומופע Cloud Data Fusion צריכים להיות באותו פרויקט.
שלבים למשתמשי Cloud Data Fusion
- עוברים לפרטי המופע:
במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.
לוחצים על Instances (מכונות), ואז לוחצים על שם המכונה כדי לעבור לדף Instance details (פרטי המכונה).
- מוודאים שהמופע שודרג לגרסה 6.8.0 ואילך. אם המופע הוא בגרסה קודמת, צריך לשדרג אותו.
- פותחים את המופע. כשממשק המשתמש של Cloud Data Fusion נפתח, לוחצים על Hub.
- לוחצים על הכרטיסייה SAP > SAP BW. אם הכרטיסייה SAP לא מוצגת, אפשר להיעזר במאמר פתרון בעיות בשילוב עם SAP.
- לוחצים על Deploy SAP BW Plugin (פריסת הפלאגין SAP BW). התוסף מופיע בתפריט מקור בדף הסטודיו.
שלבים לביצוע על ידי אדמין ב-SAP ואדמין ב- Google Cloud
האדמין של SAP מוריד את פריטי ה-JCo הבאים מאתר התמיכה של SAP ומעביר אותם לאדמין של Google Cloud .
- אחד ללא תלות בפלטפורמה (
sapjco3.jar) - אחד שתלוי בפלטפורמה (
libsapjco3.soב-Unix)
כדי להוריד את הקבצים:
- עוברים לדף SAP Connectors.
- לוחצים על SAP Java Connector (מחבר SAP Java)/Tools and Services (כלים ושירותים). אפשר לבחור קישורים ספציפיים לפלטפורמה להורדה.
בוחרים את הפלטפורמה שבה פועלת מכונת Cloud Data Fusion:
- אם אתם משתמשים בתמונות רגילות Google Cloud למכונות הווירטואליות באשכול, שזו ברירת המחדל ב-Cloud Data Fusion, בוחרים באפשרות Linux for Intel-compatible processors 64-bit x86.
- אם אתם משתמשים בתמונה מותאמת אישית, צריך לבחור את הפלטפורמה המתאימה.
האדמין צריך להעתיק את קובצי ה-JCo לקטגוריית Cloud Storage שניתן לקרוא אותה. Google Cloud מעבירים את נתיב הקטגוריה למשתמש ב-Cloud Data Fusion כדי להזין אותו במאפיין התוסף המתאים ב-Cloud Data Fusion: SAP JCo Library GCS Path (נתיב GCS של ספריית SAP JCo). איך מגדירים את הפלאגין
האדמין צריך לתת גישת קריאה לשני הקבצים לחשבון השירות של Cloud Data Fusion עבור סביבת העיצוב ולחשבון השירות של Managed Service for Apache Spark עבור סביבת ההפעלה. Google Cloud מידע נוסף זמין במאמר חשבונות שירות של Cloud Data Fusion.
הגדרת הפלאגין
הפלאגין SAP BW Open Hub Batch Source קורא את התוכן של SAP DataSource.
כדי לסנן את הרשומות, אפשר להגדיר את המאפיינים הבאים עבור SAP BW Open Hub Batch Source.
האינדיקטורים הבאים משמשים להגדרת השדות:
- (M): מציין שיש תמיכה בפקודות מאקרו בשדה המתאים
- (O): שדה אופציונלי
תווית: תווית הפלאגין בלוח הציור.
בסיסי
ברשימת המאפיינים הבאה, (M) מציין שהאפשרות תומכת בפקודות מאקרו, ואפשר להשתמש בהן כדי לנהל את חיבורי SAP באופן מרכזי. לדוגמה, אפשר להשתמש בפקודות מאקרו למאפייני החיבור ולהגדיר את הערכים בזמן הריצה באמצעות פרמטרים של זמן הריצה או באמצעות פלאגין Argument Setter.
- שם הפניה: השם שמשמש לזיהוי ייחודי של המקור הזה לצורך מעקב אחר מקורות נתונים והוספת הערות למטא-נתונים.
Use connection (הפעלה/השבתה): האם להשתמש בחיבור קיים (ראו ניהול חיבורים). אם בוחרים להשתמש בקישור קיים, לא צריך לספק פרטים של קישור SAP.
חיבור (עיון בחיבורים): בוחרים את החיבור הקיים שרוצים להשתמש בו. אפשר גם להשתמש בפונקציית המאקרו
${conn(connection-name)}.SAP Client (לקוח SAP) (M): לקוח SAP לשימוש. לדוגמה,
100.שפת SAP (M): שפת הכניסה ל-SAP. לדוגמה,
EN.סוג החיבור: סוג החיבור ל-SAP – ישיר או מאוזן עומסים. אין תמיכה בחיבורים עם איזון עומסים לחילוץ שמבוסס על שרשרת תהליכים. מידע נוסף זמין במאמר בנושא פרטי תמיכה.
בחירה של סוג החיבור משנה את השדות הזמינים.
בחיבור ישיר, השדות הבאים זמינים:
- מארח שרת האפליקציות של SAP (M): שם השרת או כתובת ה-IP של SAP.
- מספר מערכת SAP (M): מספר מערכת SAP. לדוגמה,
00. - SAP Router (M, O): מחרוזת הנתב.
בחיבור עם איזון עומסים, השדות הבאים זמינים:
- מארח של שרת הודעות SAP (M): שם המארח או כתובת ה-IP של שרת ההודעות של SAP.
- מספר היציאה או השירות של שרת ההודעות של SAP (M): מספר היציאה או השירות של שרת ההודעות של SAP. לדוגמה,
sapms02. - SAP System ID (SID) (M): מזהה מערכת SAP. לדוגמה,
N75. - שם קבוצת הכניסה ל-SAP (M): שם קבוצת הכניסה ל-SAP. לדוגמה,
PUBLIC.
שימוש בשרשרת תהליכים (M): בשדה הזה יש שתי אפשרויות.
אם מפעילים את Process Chain באמצעות האפשרות Yes, המאפיינים הבאים מופעלים:
פתרון אוטומטי של שגיאות ב-PC וב-DTP: קובע את ההתנהגות כשמזוהה הרצה שנכשלה בעבר. אם משביתים את התוסף, הצינור נכשל עם שגיאות רלוונטיות. כשההגדרה הזו מופעלת (ברירת מחדל), הפלאגין בודק את הסטטוס של שרשרת התהליכים ותהליך העברת הנתונים ב-SAP. אם אחת מהשגיאות הבאות מזוהה, התוסף מנסה לפתור אותה באופן אוטומטי:
Data Transfer Process in error state: הפלאגין מוחק את הבקשה הקודמתשרשרת התהליכים במצב אדום עם השגיאה
previous request status has not been set: התוסף מוחק את בקשת החסימה אחרי שהוא מקבל את מזהה הבקשה מיומן שרשרת התהליכים ואז מנסה להריץ את שרשרת התהליכים.זמן ההמתנה להודעה על סטטוס שרשרת התהליכים (בדקות) (M, O): ההמתנה לזמן שצוין, בדקות, עד ששרשרת התהליכים תסיים את הכנת הנתונים ותודיע לצינור הנתונים להתחיל בחילוץ. אם מציינים את הערך
0או משאירים את השדה ריק, הערך שיילקח הוא 10 דקות, שהוא ערך ברירת המחדל.Process Chain (M): שם ה-SAP Process Chain. לדוגמה,
PC_RFC.
אם משביתים את שרשרת התהליכים באמצעות האפשרות No, המאפיינים הבאים מופעלים:
- Open Hub Destination (M): שם היעד של מרכז הבקרה לקריאה.
- מזהה בקשה (M,O): מזהה הבקשה של תהליך העברת הנתונים שכבר הופעל.
פרטי כניסה
- שם המשתמש בכניסה ל-SAP (M): שם המשתמש ב-SAP. מומלץ: אם שם המשתמש בכניסה ל-SAP משתנה מעת לעת, כדאי להשתמש במאקרו.
- SAP Logon Password (M): סיסמת המשתמש ב-SAP. מומלץ: לערכים רגישים כמו סיסמת משתמש, צריך להשתמש בפקודות מאקרו מאובטחות
פרטי SAP JCo
- מזהה הפרויקט ב-GCP (M): Google Cloud מזהה הפרויקט, שמזהה באופן ייחודי פרויקט. אפשר למצוא אותו במרכז הבקרה בGoogle Cloud מסוף.
- נתיב GCS של ספריית SAP JCo (M): הנתיב ב-Cloud Storage שמכיל את קובצי ספריית SAP JCo שהמשתמש העלה.
- קבלת סכימה: לוחצים על האפשרות הזו אם רוצים שהתוסף ייצור סכימה על סמך המטא-נתונים מ-SAP, עם מיפוי אוטומטי של סוגי הנתונים של SAP לסוגי הנתונים התואמים של Cloud Data Fusion. הפונקציונליות של הפקודה הזו זהה לזו של הלחצן אימות.
מידע נוסף על אישורי לקוח זמין במאמר בנושא שימוש באישורי לקוח X.509 ב-SAP NetWeaver Application Server for ABAP.
Advanced
מספר הפיצולים ליצירה (M, O): מספר הפיצולים משמש לחלוקת נתוני הקלט. יותר מחיצות מגדילות את רמת המקביליות, אבל דורשות יותר משאבים ותקורה. במקרה של מערכת SAP מקומית, אם הערך לא מצוין בממשק המשתמש, הפיצולים הם 50% מתהליכי העבודה הזמינים של הדיאלוג ב-SAP. אחרת, הפיצולים עוברים אופטימיזציה בין מה שצוין על ידי המשתמש לבין 50% מתהליכי העבודה הזמינים.
מומלץ: להשאיר את הנכס ריק, אלא אם אתם מכירים את הגדרות מערכת SAP שלכם.
מאפייני חיבור נוספים של SAP (M, O): הגדרת מאפייני SAP JCo נוספים שמבטלים את ערכי ברירת המחדל של SAP JCo. לדוגמה, הגדרת
jco.destination.pool_capacity = 10מבטלת את ברירת המחדל של קיבולת מאגר החיבורים.בטבלה הבאה מפורטים המאפיינים הנתמכים של SAP JCo:
| מאפיין (property) | תיאור |
|---|---|
jco.destination.peak_limit |
המספר המקסימלי של חיבורים פעילים שאפשר ליצור ליעד בו-זמנית. |
jco.destination.pool_capacity |
המספר המקסימלי של חיבורים בלי פעילות שהיעד משאיר פתוחים. הערך 0 גורם לכך שלא מתבצע איגום חיבורים, כלומר החיבורים ייסגרו אחרי כל בקשה. |
jco.destination.expiration_time |
הזמן ב-ms שאחריו אפשר לסגור את החיבורים שמוחזקים על ידי המאגר הפנימי. |
jco.destination.expiration_check_period |
הערך ms מייצג את פרק הזמן שבו השרשור של בודק פסק הזמן בודק את החיבורים במאגר כדי לראות אם תוקף שלהם פג. |
jco.destination.max_get_client_time |
הזמן המקסימלי ב-ms להמתנה לחיבור, אם האפליקציה הקצתה את המספר המקסימלי המותר של חיבורים. |
התנהגות של מצבי חילוץ נתונים
אפשר לשלוט במצב חילוץ הנתונים דרך ההגדרות של תהליך העברת הנתונים. ההתנהגות שונה כשמשתמשים בשרשרת תהליכים לעומת שימוש ביעד Open Hub.
כשמשתמשים בשרשרת תהליכים
ההגדרות ברמת תהליך העברת הנתונים קובעות אם מתבצעת טעינה מלאה או טעינת דלתא. מזהה הבקשה מגיע כהתראה מ-SAP אל התוסף. התוסף קורא את נתוני החבילה שמשויכים למזהה הבקשה היחיד הזה.
כשמשתמשים ב-Open Hub Destination ללא מזהה בקשה
טעינה מלאה: כשמריצים את צינור הנתונים בפעם הראשונה, כל מזהי הבקשות שזמינים נטענים לטבלה של Open Hub. התוסף קורא נתוני מנות שמשויכים למזהי הבקשות האלה.
טעינת דלתא: כשמריצים את אותו צינור בפעם הבאה, המערכת מאחזרת את כל מזהי בקשות הדלתא שזמינים אחרי מזהה הבקשה האחרון שאוחזר. התוסף קורא נתוני מנות שמשויכים למזהי הבקשות האלה.
כשמשתמשים ביעד Open Hub עם מזהה בקשה
טעינה מלאה: כשמריצים את צינור הנתונים בפעם הראשונה, מתקבלים כל מזהי הבקשות הבאים שזמינים, שגדולים ממזהה הבקשה שצוין. התוסף קורא נתוני מנות שמשויכים למזהי הבקשות האלה.
טעינת דלתא: אם מריצים את אותו צינור בפעם הבאה, המערכת מאחזרת את כל מזהי בקשות הדלתא הזמינים, אחרי מזהה הבקשה האחרון שאוחזר. התוסף קורא את נתוני החבילות שמשויכים למזהי הבקשות האלה.
מיפוי סוגי נתונים
בטבלה הבאה מוצג המיפוי בין סוגי הנתונים שמשמשים ב-SAP BW לבין סוגי הנתונים שמשמשים ב-Cloud Data Fusion.
| סוג הנתונים ב-BW | סוג ABAP | תיאור (SAP) | סוג הנתונים ב-Cloud Data Fusion | |
|---|---|---|---|---|
| מספרי | ||||
| INT1 | b |
מספר שלם של בייט אחד | integer |
|
| INT2 | s |
מספר שלם באורך 2 בייטים | integer |
|
| INT4 | i |
מספר שלם בן 4 בייטים | integer |
|
| INT8 | 8 |
מספר שלם בגודל 8 בייט | long |
|
| דצמ | p |
מספר ארוז בפורמט BCD (DEC) | decimal |
|
| DF16_DEC DF16_RAW |
a |
נקודה צפה עשרונית 8 בייט IEEE 754r | decimal |
|
| DF34_DEC DF34_RAW |
e |
נקודה צפה עשרונית 16 בייט IEEE 754r | decimal |
|
| FLTP | f |
מספר בשיטת נקודה צפה בינארית | double |
|
| תו | ||||
| CHAR LCHR |
c |
מחרוזת תווים | string |
|
| SSTRING GEOM_EWKB |
string |
מחרוזת תווים | string |
|
| מחרוזת | string |
מחרוזת תווים CLOB | bytes |
|
| NUMC ACCP |
n |
טקסט מספרי | string |
|
| Byte | ||||
| RAW LRAW |
x |
נתונים בינאריים | bytes |
|
| RAWSTRING | xstring |
BLOB של מחרוזת בייטים | bytes |
|
| תאריך/שעה | ||||
| DATS | d |
תאריך | date |
|
| TIMS | t |
שעה | time |
|
| TIMESTAMP | utcl |
חותמת זמן Utclong |
timestamp |
|
אימות
לוחצים על אימות או על קבלת סכימה.
התוסף מאמת את המאפיינים ויוצר סכימה על סמך המטא-נתונים מ-SAP. הוא ממפה באופן אוטומטי את סוגי הנתונים של SAP לסוגי הנתונים התואמים של Cloud Data Fusion.
הפעלת צינור נתונים
- אחרי פריסת צינור עיבוד הנתונים, לוחצים על הגדרה.
- לוחצים על משאבים.
- אם צריך, משנים את הערכים של Executor CPU ושל Memory בהתאם לגודל הנתונים הכולל ולמספר השינויים שנעשה בהם בצינור.
- לוחצים על Save.
- כדי להפעיל את צינור הנתונים, לוחצים על הפעלה.
אופטימיזציה של הביצועים
אופטימיזציה של הגדרת הפלאגין
כדי להשיג ביצועים אופטימליים כשמריצים את צינור העיבוד, צריך להשתמש במאפיינים הבאים:
מספר הפיצולים ליצירה במאפיינים של התוסף Cloud Data Fusion: המאפיין הזה שולט ישירות במקביליות בצד Cloud Data Fusion. מנוע זמן הריצה יוצר את מספר המחיצות שצוין וחיבורי SAP בזמן חילוץ הרשומות מהטבלה. מומלץ להשתמש בערכים בין
8ל-16, אבל אפשר להגדיל את הערך עד32או64עם ההגדרה המתאימה בצד של SAP, על ידי הקצאת משאבי זיכרון מתאימים לתהליכי העבודה ב-SAP.אם הערך הוא
0או אם לא מציינים ערך (מומלץ), המערכת בוחרת אוטומטית ערך מתאים על סמך מספר תהליכי העבודה הזמינים של SAP, הרשומות שצריך לחלץ וגודל החבילה.גודל החבילה במאפייני תהליך העברת הנתונים של BW: המאפיין הזה קובע את מספר רשומות הנתונים שמופיעות בחבילת נתונים נתונה. ערך ברירת המחדל הוא
50,000. הגדלת הערך הזה עשויה לשפר את הביצועים, אבל תגרום לעומס גבוה יותר על המשאבים. אם אתם כבר משתמשים בערכים גבוהים יותר, כדאי להקטין אותו כדי לאפשר הקבלה טובה יותר של החילוץ.
הגדרות משאבים ב-Cloud Data Fusion
מומלץ: להשתמש במעבד אחד וב-4 GB של זיכרון לכל executor. הערך הזה חל על כל תהליך של מפעיל. מגדירים את הערכים האלה בתיבת הדו-שיח הגדרת > משאבים.
הגדרות של אשכול Managed Service for Apache Spark
מומלץ: לפחות, הקצאה של מספר ליבות מעבד כולל לעובדים, שגדול ממספר הפיצולים המיועד. הגדרת הפלאגין
לדוגמה, אם יש לכם 16 פיצולים, צריך להגדיר 20 או יותר מעבדים בסך הכול, בכל העובדים. יש תקורה של 4 מעבדים שמשמשים לתיאום.
מומלץ: להשתמש באשכול מתמשך של Managed Service for Apache Spark כדי לקצר את זמן הריצה של צינור עיבוד הנתונים. כך לא צריך לבצע את שלב ההקצאה, שיכול להימשך כמה דקות או יותר. מגדירים את האפשרות הזו בקטע ההגדרות של Compute Engine.
פרטי התמיכה
גרסאות ומוצרים נתמכים של SAP
מקורות נתמכים:
- SAP NW BW 7.5 ואילך
- SAP BW4HANA 2.0 SP9 (כדי לכלול את Open Hub Destination API; גרסאות קודמות של BW4HANA לא תומכות ב-Open Hub Destination API)
תמיכה בחיבור מאוזן עומסים (שרת הודעות) של SAP
חיבור מאוזן עומסים (שרת הודעות) של SAP נתמך בחילוץ שמבוסס על יעד Open Hub, שבו לא נעשה שימוש בשרת RFC.
אין תמיכה בחיבור מאוזן עומסים (שרת הודעות) של SAP לחילוץ מבוסס שרשרת תהליכים. הסיבה לכך היא מגבלה של SAP כשמספקים הודעה data ready למערכת הלקוח, שדורשת רישום של שרת ה-RFC (מאזין הפלאגין) בכל שרת SAP בסביבת ה-BW, מה שמגדיל את טביעת הרגל של המחבר ועלול להשפיע על הביצועים של SAP ועל השימוש במשאבים. מידע נוסף זמין בהערה 2572564 של SAP (נדרשת התחברות לתמיכה של SAP כדי לצפות בה).
מודלים נתמכים של פריסת SAP
הפלאגין נבדק עם שרתי SAP שנפרסו ב- Google Cloud.
אובייקטים נתמכים של SAP
מקורות נתונים של Open Hub Destination: ספקי מידע (InfoObject, InfoCube, DataStore Object, Advanced Data Store Object, Composite Provider)
שרשראות של תהליכים להפעלה אוטומטית של תהליך העברת הנתונים אל יעד Open Hub.
נדרש רישיון נפרד לשימוש ב-Oracle HTTP Server כדי לחלץ נתונים מ-SAP
לא צריך רישיון נפרד כדי להשתמש ב-Oracle HTTP Server (OHS) כדי לחלץ נתונים מ-SAP. עם זאת, מומלץ לבדוק עם נציג SAP את ההסכם הספציפי ואת תרחיש השימוש שלכם.
התפוקה הצפויה של התוסף
בסביבה שהוגדרה בהתאם להנחיות שבמאמר אופטימיזציה של הביצועים, התוסף יכול לחלץ כ-38 GB בשעה. הביצועים בפועל עשויים להשתנות בהתאם לעומס של Cloud Data Fusion ומערכת SAP או לתנועת הרשת.