פריסה

בדף הזה מוסבר איך פורסים את Cortex Framework לנתוני הארגון.

לפני שמתחילים

לפני שממשיכים בהטמעה, חשוב לוודא שהשלמתם את כל הדרישות המוקדמות שמפורטות בדף דרישות מוקדמות.

לפני שמפעילים את Cortex Framework, צריך לשכפל טבלאות רלוונטיות של SAP ERP ל-BigQuery. מידע נוסף זמין בדף מקור נתונים של SAP ERP.

פריסה

אחרי שהסביבה מוכנה, אפשר להפעיל את הפריסה. משתמשים בסקריפטים של Cortex Framework uv כדי לבנות ולדחוף את נכסי הנתונים לפרויקט Google Cloud , וכך להפוך את ההגדרות המקומיות לארכיטקטורת נתונים פעילה וניתנת להרחבה.

הגדרות אישיות

לפני הפריסה, השכבות של בסיס הנתונים ושל מוצר הנתונים מוגדרות באמצעות גישה מרכזית של הגדרה כקוד. ‫Cortex Framework משתמש בקובץ config/config.yaml כדי להגדיר את הפריסה של Cortex Framework. הקובץ הזה מכיל את המיפוי החיוני בין נתוני המקור לבין סביבת היעד Google Cloud הגדרה נכונה מבטיחה שמסגרת Cortex תדע בדיוק איפה למצוא את הנתונים הגולמיים ואיפה ליצור את השכבות שמתקבלות.

כדי שהפריסה של Cortex Framework תתבצע בהצלחה, צריך להוסיף את הערכים הבאים:

• ‫YOUR_BUILD_PROJECT_ID: הפרויקט שבו מתבצעת תזמור הפריסה ומופעלים סקריפטים של uv.
• ‫YOUR_SOURCE_PROJECT_ID: הפרויקט שמכיל את נתוני המקור הגולמיים.
• ‫YOUR_TARGET_PROJECT_ID: פרויקט היעד שבו יאוחסנו מוצרי הנתונים ומערכי הנתונים ב-BigQuery אחרי העיבוד.
• ‫YOUR_REPO_PROJECT_ID: הפרויקט שמארח את מאגר Dataform ואת ארטיפקטים הפריסה.

מידע מפורט על קובץ ההגדרות זמין במאמר הגדרות הפריסה.

הגדרת תפקידים ב-IAM

מגדירים את ההרשאות הנדרשות בממשק לניהול זהויות והרשאות גישה (IAM) כדי לפרוס תוכן של Cortex Framework בפרויקטים הנדרשים ב- Google Cloud .

תפקידים בפרויקט בנייה

כדי לקבל את ההרשאות שנדרשות לבניית Cortex Framework, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד BigQuery Data JobUser (roles/bigquery.jobUser) בפרויקט הבנייה. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

תפקידים בפרויקט המקור

כדי לקבל את ההרשאות שנדרשות לפריסת Cortex Framework, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט המקור. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

תפקידים בפרויקטים של יעד

כדי לקבל את ההרשאות שדרושות לפריסת Cortex Framework, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקטים של היעד:

• עריכה של נתוני BigQuery (roles/bigquery.dataEditor)
• אדמין ב-Dataform (roles/dataform.admin)
• אדמין Service Usage (roles/serviceusage.serviceUsageAdmin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הערה: התפקיד 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin) משמש במהלך ההפעלה של סקריפט הפריסה של Cortex Framework להפעלה אוטומטית של ממשקי ה-API הבאים: dataform.googleapis.com,‏ bigquery.googleapis.com ו-cloudresourcemanager.googleapis.com. Google Cloud אם מדיניות הארגון לא מאפשרת להעניק את ההרשאה הזו למשתמשים, אפשר להפעיל את ממשקי ה-API שצוינו באופן ידני לפני ההפעלה של סקריפט הפריסה של Cortex Framework.

ביצוע פריסה

מריצים את הפקודה הבאה כדי להפעיל את הפריסה של Cortex Framework. במהלך התהליך הזה יבוצעו הפעולות הבאות:

• מוודאים שכל התנאים המוקדמים מתקיימים.
• מתחברים למערך הנתונים הגולמי, ועל סמך פרטי הסכימה, יוצרים ומקמפלים את הסקריפטים של .sqlx.
• יוצרים את מאגר Dataform ואת סביבת העבודה, ואז מסנכרנים את הארטיפקטים המהודרים עם המאגר.

uv run cortex-build-and-deploy --config "config/config.yaml"

אפשרויות של שורת הפקודה

ממשק שורת הפקודה (CLI) של uv run תומך בפעולות הבאות:

• ‫uv run cortex-build: מריץ קומפילציה של סביבת העבודה של Dataform, מתרגם הגדרות YAML ותבניות SQLX/JS לנכסי Dataform שניתנים לפריסה. מידע נוסף זמין במאמר בנושא CLI Cortex build.
• ‫uv run cortex-deploy: מעביר את הנכסים שעברו קומפילציה אל סביבת העבודה של Dataform. מידע נוסף זמין במאמר CLI Cortex deploy.
• ‫uv run cortex-build-and-deploy: משלב את ההידור (compilation) והדחיפה של נכסי ה-build לסביבת העבודה של Dataform. מידע נוסף זמין במאמר CLI Cortex build and deploy.

הפעלה של צינור עיבוד הנתונים של בסיס הנתונים ומוצרי הנתונים

אחרי שהפריסה מסתיימת, השלב האחרון הוא להפעיל את כל הפעולות במאגר Dataform. כשמריצים את צינור עיבוד הנתונים בסביבת העבודה של Dataform, מתחיל תהליך ההמרה של הלוגיקה מנתונים גולמיים למוצרי נתונים מובְנים שמוכנים לשימוש מיידי בעסק. איך לעשות את זה?

1. עוברים אל Dataform.
2. מוודאים שאתם בפרויקט הנכון.
3. לוחצים על שם המאגר שנוצר.
4. לוחצים על השם של סביבת העבודה.
5. לוחצים על התחלת ההרצה.
6. לוחצים על Execute actions (ביצוע פעולות).
7. בוחרים באפשרות כל הפעולות. אפשר גם לבחור את השלבים שמעניינים אתכם.
8. לוחצים על התחלת ההרצה.

כדי לוודא שהפריסה בוצעה בהצלחה:

1. לוחצים על Executions (הרצות).
2. מוודאים שהסטטוס הוא 'הושלם בהצלחה'.
3. כדי לקבל פרטים נוספים, לוחצים על הקישור להרצה.

עכשיו אפשר לעיין בנכסי הנתונים של BigQuery שנפרסו במערך הנתונים שהוגדר בקובץ ההגדרות. לדוגמה, CORTEX_SAP_DATAFOUNDATION ו-CORTEX_SAP_DATAPRODUCTS.