השלבים אחרי הפריסה

בדף הזה מוסבר איך לבצע את השלבים שלאחר הפריסה של Cortex Framework כדי להריץ את צינורות הנתונים ולאמת את התוצאות.

אחרי הפריסה, כל תבניות ההמרה וההגדרות עוברות קומפילציה ונפרסות במאגר היעד של Dataform. עם זאת, כדי להפוך את הטבלאות והתצוגות למוחשיות ב-BigQuery, צריך קודם להריץ את פעולות צינור הנתונים של Dataform.

הפעלת הטרנספורמציות ב-Dataform

כשמריצים את צינור עיבוד הנתונים, מפעילים את הלוגיקה להמרת נתונים גולמיים לשכבות הרלוונטיות של בסיס הנתונים ומוצר הנתונים, והם מוכנים לשימוש עסקי מיידי.

אתם יכולים להפעיל פעולות באופן ידני ב Google Cloud מסוף לצורך אימות, או להגדיר לוחות זמנים חוזרים לייצור.

הערה: אם רוצים להוסיף קוד בהתאמה אישית (כמו קובצי .sqlx או .js) ישירות בסביבת העבודה המרוחקת של Dataform במסוף Google Cloud , צריך למקם אותו בספרייה definitions/custom/. אחרת, כל הקבצים מחוץ ל-definitions/custom/ שלא נכללים בפלט של ה-build יימחקו או יידרסו במהלך ההרצה הבאה של הפריסה של Cortex Framework‏ (cortex-deploy).

הרצה ידנית לאימות

כדי להריץ אימות ידני של כל צינור הנתונים בסביבת העבודה של Dataform, פועלים לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .
2. מוודאים שבחרתם את Google Cloud הפרויקט הנכון מהתפריט הנפתח של הפרויקטים.
3. לוחצים על שם המאגר שנוצר במהלך הפריסה (למשל, cortex).
4. לוחצים על שם סביבת העבודה (לדוגמה, cortex).
5. לוחצים על התחלת ההפעלה.
6. לוחצים על Execute actions (ביצוע פעולות).
7. בוחרים באפשרות כל הפעולות. אפשר גם לבחור קבוצות משנה מרכזיות של טרנספורמציות על ידי בחירה של תגים או פעולות ספציפיים.
8. לוחצים על התחלת ההפעלה.

אימות ההרצה

כדי לעקוב אחרי ההתקדמות ולבדוק אם צינור הנתונים הושלם בהצלחה, פועלים לפי השלבים הבאים:

1. לוחצים על הכרטיסייה Executions (הרצות) כדי לראות את היסטוריית ההרצות.
2. מוודאים שהסטטוס הוא הושלם בהצלחה.
3. לוחצים על הקישור של הרצת הביצוע כדי לבדוק פרטים של פעולות ספציפיות, שגיאות קומפילציה או תזמוני ביצוע.

בדיקת נכסי נתונים ב-BigQuery

אחרי שהצינור של Dataform יפעל בהצלחה, תוכלו לאמת את מערכי הנתונים שנוצרו ולבדוק את הטבלאות המגובות ב-BigQuery.

1. עוברים אל BigQuery במסוף Google Cloud .
2. מאתרים את מערכי הנתונים של היעד שהוגדרו בקובץ config.yaml (לדוגמה, מערך הנתונים שמזוהה על ידי datasetId ברשומה data.targets שאליה מפנה המודול dataTargetId). לדוגמה, בהגדרות התבנית יכול להיות שיופיעו:
   • שכבת בסיס הנתונים: מחפשים את מערך הנתונים שתואם למזהה יעד הבסיס (מוגדר כ-cortex7_sap_data_foundation כברירת מחדל).
   • שכבת מוצרי הנתונים: מחפשים את מערך הנתונים שתואם למזהה היעד של המוצר (מוגדר כ-cortex7_data_products כברירת מחדל).
3. צריך להציג תצוגה מקדימה של הטבלאות ולהריץ שאילתות לדוגמה כדי לוודא שהן מאוכלסות ברשומות הצפויות.

השלבים הבאים

עכשיו, כשמערכות הנתונים שלכם פועלות, אתם יכולים ללמוד איך:

• רישום מוצרי הנתונים בקטלוג הידע: כדי להפוך את תהליך הרישום לאוטומטי, אפשר לעיין במסמכי התיעוד של השילוב עם קטלוג הידע] (/cortex/docs/knowledge-catalog).
• הרחבת מודל הנתונים: אפשר לעיין במדריך להרחבה כדי להתאים אישית סכימות או ליצור מופעים של מודולים חדשים.
• יצירה של מוצרי נתונים חדשים או התאמה אישית של מוצרי נתונים קיימים: כדי להתחיל, אפשר לעיין במסמכי התיעוד בנושא יכולות מבוססות-סוכן ליצירת מוצרי נתונים.